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(54) Title: DETECTION OF THE SPATIAL STRUCTURE OF A THREE-DIMENSIONAL SURFACE 

(54) Bezeichnung: ERFASSUNG DER RAUMLICHEN STRUKTUR EINER DREIDIMENSIONALEN OBERFLACHE 



(57) Abstract 

The invention relates to a method for detecting the spatial structure 
of a three-dimensional surface. According to said method, a pattern is 
projected onto said surface in a direction of projection which defines a 
first axis, and at least one area of the pattern projected onto the surface 
is detected with pixels, using one or more sensors, in a direction of 
processing of said sensor(s). Said processing direction defines a second 
axis. The first axis and the second axis (or a straight line parallel to the 
second axis) intersect at an angle other than 0°, forming a triangulation 
plane. The pattern is defined by a variable physical value which can be 
detected by the sensor(s), at least for projections into a plane which is 
vertical in relation to the first axis. 

(57) Zusammenfassung 

Die vorliegende Erfindung betrifft ein Verfahren zur Erfassung der 
raumlichen Struktur einer dreidimensionalen Oberflache durch Projizieren 
eines Musters auf die Oberflache enttang einer Projektionsrichtung, die 
eine erste Achse definiert, und durch pixelweise Erfassung mindestens 
eines Bereiches des auf die Oberflache projizierten Musters mit Hilfe eines 
Oder rnehrerer Sensoren in einer Betrachtungsrichtung des Sensors oder 
der Sensoren, welche eine zweite Achse definiert, wobei die erste und die 
zwette Achse (oder eine zur zweiten Achse parallele Gerade) sich unter 
einem von 0° verschiedenen Winkel schneiden, so daB die erste und die 
zweite Achse (bzw. die hierzu parallele Gerade) eine Triangulationsebene 
aufspannen, wobei das Muster mindestens bei Projektion in eine Ebene 
senkrecht zur ersten Achse durch eine sich andernde, von dem Sensor 
(Sensoren) erfaBbare physikalische GrdBe definiert ist. 
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ERFASSUNG DER RAUMLICHEN STRUKTUR EINER DREIDIMENSIONALEN OBERFLACHE 



Die vorliegende Erfindung betrifft ein Verfahren zur Erfassung der raumlichen Struktur einer 
dreidimensionalen Oberflache durch Projizieren eines Musters auf die Oberflache entlang einer 
Projektionsrichtung, die eine erste Achse definiert, und durch pixelweise Erfassung mindestens 
eines Bereiches des auf die Oberflache projizierten Musters mit Hilfe eines oder mehrerer 
Sensoren in einer Betrachtungsrichtung des Sensors oder der Sensoren, welche eine zweite 
Achse definiert, wobei die erste und die zweite Achse (oder eine zur zweiten Achse parallele 
Gerade) sich unter einem von 0° verschiedenen Winkel schneiden, so daS die erste und die 
zweite Achse (bzw. die hierzu parallele Gerade) eine Triangulationsebene aufspannen, wobei 
das Muster mindestens bei Projektion in eine Ebene senkrecht zur ersten Achse durch eine sich 
andernde, von dem Sensor (Sensoren) erfaBbare physikalische GroBe definiert ist und wobei 
das Muster derart ausgestaltet ist. dafc die Differenz der physikalisch meSbaren GroBe. 
gemessen zwischen vorgebbaren Bildpixeln oder Pixelgruppen entlang einer vorgebbaren, 
vorzugsweise zur Triangulationsebene paralleled. Pixelreihe mindestens zwei verschiedene 
Werte annimmt 

Ein solches Verfahren ist beispielsweise bekannt geworden durch das US-Patent 5,615,003. 

Das in dieser Patentschrift konkret offenbarte Muster hat sehr viel Ahnlichkeit mit den 
Strichcodes, wie sie schon seit langem z. B. im Einzelhandel zur Identifizierung von Produkten 
und Preisen Verwendung finden, wobei die Folge unterschiedlich dicker Striche oder Balken 
eine Reihe von Binarzahlen definiert. die z. B. einem Produkt und seinem Preis eindeutig 
zugeordnet ist. Fur die Zwecke der Erfassung der raumlichen Struktur einer dreidimensionalen 
Oberflache werden allerdings die Strichbreiten und Abstande zwischen derartigen Strichen je 
nach der konkreten Struktur der Oberflache verzerrt, und das bekannte Verfahren zeichnet sich 
durch Einrichtungen und MaSnahmen aus, die trotz der Verzerrung eine Identifizierung 
bestirnmter Bereiche des Strichmusters ermoglichen, so daB das erfaSte, verzerrte Muster an 
das projizierte Muster angepaBt werden kann, wobei die Parameter einer solchen Anpassung 
die Struktur der Oberflache liefern. welche die genannten Verzerrungen hervorruft. 

Ein anderes. ahnliches Verfahren, welches ein kodiertes Muster verwendet, ist aus der 
deutschen Patentanmeldung 196 38 727 bekannt, wobei dieses Verfahren sich nicht auf die 
Kodierung eines Musters nurin einer Richtung beschrankt, sondern aus einzelnen unterscheid- 
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baren Musterelementen mit jeweils ahnlicher Struktur und GroBe zusammengesetzt ist, wobei 
s,ch die Musterelemente auch in zueinander ser.krechten Richtungen wechselseitig voneinander 
unterscheiden. Ein kodiertes Muster ist dadureh gekennzeichnet, daS zumindest Ausschnitte 
des Musters, die eine bestimmte MindestgroSe haben, sich an keiner Steile auf der gesamten 
Musterfiache wiederholen. Auch wenn diese Forderung nicht im strengen Sinne erfullt ist. so 
bedeutet dies. daS durchaus auch Wiederholungen von Musterstrukturen vorkommen konnen. 
solange diese Wiederholungen auf der Musterfiache nur hinreichend weit auseinanderliegen, 
so da(3 bei der Auswertung einer abgebildeten Musterstruktur eine Verwechselung zwischen 
zwei zufallig identischen Bereichen des Musters praktisch ausgeschlossen ist. 

Alto bisher bekannten Verfahren arbeiten jedoch grundsatziich nach dem Prinzip der 
Mustererkennung, d. h. der rechnerisch nachvoHzogenen Abbi.dung des ebenen Musters auf 
das aus der Betrachtungsrichtung auf einer nichtebenen Oberflache abgebildete, verzerrte 
Muster. Dabei treten jedoch immer dann Probleme auf. wenn sich in der Abbildung abhangig 
von der raumlichen Erstreckung oder sonstigen Ausbildung der Oberflache der Informations- 
gehalt des projizierten Mustere.ementes verandern kann. Wenn z. B. die zu messende und sich 
andernde physikalische GroGe, durch we.che die Musterstruktur definiert wird, die Farbe des 
Musters oder einzelner Musterelemente beinhaltet, so kann die Interpretation von Farb- 
•nformation im projizierten Muster durch eine farb.iche Ausgestaltung der Oberflache gestort 
oder gar unmoglich gemacht werden. Bei der Verwendung unterschiedlicher Linienbreiten fur 
am Muster hangt die Linienbreite in der Abbildung nicht nur von Neigungen der Oberflache in 
emer Richtung parallel zur Triangulationsebene, sondem auch von Neigungen des Objektes 
bzw. der Oberflache bezuglich einer Normalen zur Triangulationsebene. Dies bedeutet, daS bei 
der Projektion unterschiedlich breiter Linien aufgrund einer ungunstigen Ausbildung der 
raumhchen Erstreckung der Oberflache sich beispie.sweise eine schmale Linie im Abbild in 
emer Breite darstellt, die in der GroSenordnung des Abbilds einer im projizierten Muster breiten 
Un,e liegt und dementsprechend bei der Auswertung zu einer falschen Information fuhren 



kann. 



AuBerdem stellt die Auswertung kodierter Muster mit unterschiedlicher geometrischer 
Ausbildung von Mustere.ementen sehr hohe Anforderungen an die auswertende Datenver- 
arbeitung, da sich im Abbild die Geometrie der projizierten Musterelemente stark verzeichnet 
wiederfinden kann. 

Gegenuber dem vorstehend geschi.derten Stand der Technik ist es Aufgabe der vorliegenden 
Erfndung, ein Verfahren zur Erfassung der raum.ichen Struktur einer dreidimensionalen 



WO 99/603.,- 



- 5 - 



y ,DE99/01277 



Musterelement zurr. anderen hesonders markant sind und damit deutlich erfaBt werden oder 
wenn bestimmte Bereiche einzelner Musterelemente starke Anderungen der zu messenden 
physikalischen Gro&e in Zeilenrichtung der Bildpixel aufweisen und damit als gut lokalisierbarer 
Mustererkennungspunkt dienen. 

Dabei ist eine Ausfiihrungsforrn der vorliegenden Erfindung besonders bevorzugt, bei weicher 
mindestens zwei Typen von Musterelementen vorgesehen sind, in deren Bereich die 
physikalische GroSe jeweils ein konstantes Niveau bzw. einen konstanten Wert hat, wobei sich 
dieser Wert der betreffenden physikalischen GroSe zwischen den beiden Typen von 
Musterelementen jeweils deutlich meBbar unterscheidet. Auf diese Weise konnen sehr einfach 
die Ubergange von einem Musterelement des ersten Typs zu einem Musterelement des 
zweiten Typs und umgekehrt festgestellt werden. Die Differenzen, die zwischen benachbarten 
Pixeln bzw. Pixelgruppen gebildet werden, nehmen bei derartigen Musterelementen den Wert 
Null an, wenn sich die zu vergleichenden Pixel bzw. Pixelgruppen innerhalb desselben 
Musterelementes bef inden und nehmen den deutlich meBbaren Unterschiedswert zwischen den 
beiden Typen von Musterelementen an, wenn das eine Pixel bzw. die eine Pixelgruppe das eine 
der beiden Musterelemente abbildet, wahrend das benachbarte Pixel bzw. die benachbarte 
Pixelgruppe das jeweils andere Musterelement abbildet. Auf diese Weise ergeben sich an den 
Obergangen von einem Musterelement zum anderen jeweils deutlich meSbare Anderungen und 
insofern auch MeBpunkte zur Identifizierung der Musterstruktur und der Lage dieser 
Ubergange. Dies gilt selbst dann, wenn die Oberflacheneigenschaften des untersuchten 
Gegenstandes sich im projizierten Musterbereich erheblich andern, so daB die gleichen 
Ubergange zwischen identischen Musterelementen, jedoch an verschiedenen Often der 
Oberflache. deutlich verschiedene Differenzen zeigen unddennoch als gleichartige Ubergange 
erkannt werden, weil die Differenz sich in beiden Fallen immer noch deutllich von anderen 
auftretenden Differenzwerten (zum Beispiel dem Differenzwert Null) unterscheiden. 

Dariiberhinaus ist eine Ausfiihrungsforrn der vorliegenden Erfindung bevorzugt, bei weicher 
mindestens ein Typ bzw. ein weiterer Typ eines Musterelementes vorgesehen ist, in dessen 
Rachenbereich sich entlang einer vorgegebenen Richtung der Wert der zu erfassenden 
physikalischen GroSe kontinuierlich verandert. Bei einem derartigen Musterelement sind die 
Anderungen der physikalischen GroBe zwischen benachbarten Pixeln oder Pixelgruppen im 
allgemeinen relativ klein, wobei aufgrund der kontinuierlichen Veranderung der physikalischen 
GroBe im Bereich bzw. in einem Teilbereich dieses Musterelementes diese Anderungswerte 
zwischen alien benachbarten Pixeln oder Pixelgruppen jeweils gleich sind. Erst beim Ubergang 
zu einem anderen Musterelement oder aber wenn man einen Bereich des Musterelementes 
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erreicht, in welchem die physikalische GroBe sich nicht mehr kontinuierlich entsprechend dem 
vorher definierten MaBandert, kann einegroBere Different der physikalischen GroBe zwischen 
benachbarten Pixein oder Pixeigruppen auftreten, die w.uderum charakteristisch fur einen 
bestimmten Bereich des Musters ist. 

Besonders bevorzugt ist dabei eine Ausfuhrungsform der vorliegenden Erfindung, bei welcher 
zwei Typen derartiger Musterelemente mit kontinuierlicher Anderung der physikalischen GroSe 
innerhalb mindestens eines Teilbereiches dieser Musterelemente vorgesehen ist, wobei sich 
diese beide Typen voneinander dadurch unterscheiden, daBentlang dervorgegebenen Richtung 
beziiglich derfortschreitenden Vergleiche benachbarter Pixel oder Pixeigruppen das Vorzeichen 
der Anderung der physikalischen MeBgroBe' gerade umgekehrt ist. In dem betreffenden 
Flachenbereich des Musterelementes eines ersten Typs nimmt also der Wert der inter- 
essierenden physikalischen GroBe z. B. von Pixel zu Pixel jeweils urn den gleichen Wert zu, 
wahrend dieser Wert bei dem anderen Typ von Musterelement von Pixel zu Pixel jeweils urn 
einen entsprechenden Betrag abnimmt. 

Beim Obergang zu einem benachbarten Musterelement konnen allerdings erheblich groBere 
Differenzen in den Werten der physikalischen GroBe zwischen benachbarten Pixein oder 
Pixelgrupen auftreten. 

Die Musterelemente mit einer mindestens bereichsweise mehr oder weniger kontinuierlichen 
Anderung der physikalischen GroBe ermoglichen es, daB man beim Obergang zu benachbarten 
Pixein oder Pixeigruppen am Obergang zu einem weiteren Musterelement einen deutlichen 
Sprung der physikalischen GroBe jeweils in derselben Richtung erhalten kann, wahrend bei den 
zuvor definierten Typen von Musterelementen, innerhalb deren Flachenbereich die physikali- 
sche MeSgrdSe jeweils einen konstanten Wert hat, das Vorzeichen der Anderung beim 
Obergang zum nachsten Musterelement, sofern uberhaupt eine Anderung vorhanden ist, 
eindeutig durch den Wen der physikalischen GroBe in dem voraufgehenden Musterelement 
festgelegt ist. * 

Die Anderung kann dabei zwar zwei verschiedene Werte annehmen, die sich jeweils um ihr . 
Vorzeichen voneinander unterscheiden, je nachdem von welchem der zwei Typen von 
Musterelementen aus der Obergang zu dem jeweils anderen Typ stattgefunden hat, jedoch 
kann nach einer zuvor erfolgten positiven Anderung des Wertes der physikalischen MeBgroBe 
bei derartigen Musterelementen beim Obergang zum nachsten Musterelement nur eine negative 
oder keine Anderung erfolgen und umgekehrt. Dagegen ist es bei den Typen yon Muster- 



p. JE99/0I27" 

WO 99/603— 

- 3 • 



Oberflache zu schaffen, welches von verschiedenen Neigungen beziiglich einer Normalen zur 
Triangulationsebene und auch von den sonstigen Oberflacheneigenschaften, weiche 
unabhangig von der raumlichen Erstreckung der Oberflache die zu messende physikalische 
GroBe beeinflussen konnen, weitgehend unabhangig ist. 

Diese Aufgabe wird dadurch gelost, daB zur Auswertung der abgebildeten Musterstruktur 
jeweils nur Anderungen der physikalischen GroBe zwischen den vorgebenen Pixeln oder 
vorgegebenen Pixelgruppen einer oder mehrerer, vorzugsweise zur Triangulationsebene 
parallelen, Pixelreihen erfaBt und in raumliche Koordinaten der Oberflache umgerechnet 
werden. 

Dabei werden die Anderungen der physikalischen GroBe mindestens in Ihrer zur Triangulatai- 
onsebene parallelen Komponente erfaBt und in raumliche Koordinaten umgerechnet. 

Dadurch daB lediglich Anderungen der zu erfassenden physikalischen MeBgroSe des Musters, 
vorzugsweise zwischen benachbarten Pixeln oder benachbarten Pixelgruppen, erfaBt werden, 
werden spezielle Oberflacheneigenschaften gleichsam eliminiert, da die Oberflachenbereiche, 
die vor allem durch benachbarte Pixel abgebildet werden. im Regelfall die gleichen Eigen- 
schaften haben. Auch die Neigung der Oberflache gegeniiber einer Normalen zur Triangula- 
tionsebene wirkt sich in keiner Weise auf die Erfassung und gegebenenfalls Identifizierung der 
Musterstruktur aus, da nicht das Muster hinsichtlich seiner speziellen MaBe und Formen erfaBt 
und mit dem ursprunglichen Projektionsmuster verglichen und angepa&t wird, sondern da 
lediglich die in vorgebenen, vorzugsweise benachbarten, Pixeln oder Pixelgruppen gemessenen 
Werte der interessierenden physikalischen GroBe miteinander verglichen werden, konkret durch 
Bilden der Differenz. Das konkret abgebildete Muster ergibt sich dann einfach anhand 
charakteristischer Veranderungen der physikalischen GroBe von bestimmten Pixeln zu anderen 
vorgebenen Pixeln, vor allem ihren Nacbbarpixeln, bzw. von bestimmten Pixelgruppen zu 
anderen vorgegebenen, vorzugsweise benachbarten, Pixelgruppen, oder entlang einer anderen 
geeigneten Folge von miteinander zu vergleichenden Pixeln. 

Da erfindungsgemafc die Anderung der in den Bildpixeln erfaBten bzw. wiedergegebenen Werte 
der konkret ausgewerteten physikalischen GroBe mindestens zwei verschiedene Werte 
annehmen kann, lassen sich durch diese unterschiedlichen Anderungswerte. die von Pixel zu 
Pixel bzw. von Pixelgruppe zu Pixelgruppe auftreten konnen, Strukturen definieren und 
wiedererkennen, ohne daS die speziellen Eigenschaften der Oberflache dabei eine Rolle spielen. 
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ZweckmaBigerweise wird das Muster so ausgerichtet. daS sich in einer vorgebenen 
MeUnchtung. entlang welcher Pixel oder Pixelgruppen miteinander verglichen werden. 
mmdestens teilweise dem Betrag nach maximale Anderung.we.te eraeben, wahrend die 
ubngen auftretenden Anderungsswerte dem Betrag nach vergleichaweise klein sind oder den 



Wert Null haben. 



In e,ner bevorzugten Variante der bevorzugten Erfindung werden jeweils mehrere in einer 
Spalte ubereinandertiegende Pixel von in Spaltenrichtung benachbarten Pixelreihen zu einer 
P-xelgruppe zusammengefaSt, und es werden die Anderungen der physikalischen GroBe und 
jewe,ls zwischen derartigen in Zeilenrichtung benachbarten Pixelgruppen ausgewertet. Es 
konnten jedoch auch Gruppen von benachbarten Pixeln verglichen werden, die jewei.s aus 
mehreren. in Zeilenrichtung nebeneinanderliegenden Pixeln bestehen. In einer Variante dieser 
Ausgestaltung konnen die zu ]e einer Gruppe zusammengefassten Pixel aus mehreren Zei.en 
auch jewel, gegeneinander versetzt sein. also aus verschiedenen. vorzugsweise aber nahe 
beieinander liegenden Spalten stammen. 

Es versteht sich im ubrigen, da* die "Zei.en" und "Spalten" von Pixeln eines Bi.dsensors oder 
B,ldes, so wie diese Begriffe im Rahmen der vorliegenden Anmeldung verwendet werden, nicht 
notwendujerweise entlang gerader und einander senkrecht schneidender Linien verlaufen 
miissen. 

Besonders bevorzugt ist eine Ausfuhrungsform der Erfindung, bei welcher das Muster a.s 
kod.ertes Muster ausgebildet ist, wobei diese Anforderung nicht im strengen Sinne zu 
verstehen ist. 

ZweckmaBigerweise sind die Musterstrukturen im Vergleich zur Gesamtausdehnung des 
Musters relativ k,ein, und auch die MindestgroSe der Rachenbereiche, die eine Musterstruktur 
aufwe IS en, welche sich nicht wiederho.t, so.lte im Vergleich zur Gesamtfiache des Musters 
moghchst klein sein, da sich auf diese Weise die jeweiiigen eindeutig identifizierbaren 
Musterstrukturen entsprechend genau .oka.isieren lessen. , n hinreichend grofcem Abstand 
durfen jedoch bei manchen Anwendungsfa.len auch Musterwiederho.ungen auftreten. 

Weiterhin ist eine Ausgestaltung der Erfindung bevorzugt, bei welcher das Muster von 
e.nze.nen Mustere.ementen gebildet wird. die in einer Ebene senkrecht zur Projektionsrichtung 
Jew,., in etwa gleich grofce F.achen beanspruchen. Die g.eich grofcen Rachenbereiche 
e,nze,ner Mustere.emente erleichtern die Auswenung. wenn z. B. Obergange von einem 
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eiernenten. die eine bereichsweise kontinuierliche Anderung aufweisen, die aber zwischen 
jeweils benachbarten Pixeln innerhalb dieser Bereiche relativ klein ist und deshalb ignoriert 
werden kann, der Wert der physikalischen Grolie kontinuierlich imrner wieder auf einen zuvor 
schon erreichten Wert gebracht werden. der dann beim Ubergang zum nachsten Muster- 
element Oder auch innerhalb des gegebenen Musterelementes abrupt geandert wird, wobei 
diese abrupte Anderung als charakteristisches Strukturelement des Musters erfaSt wird und 
eine bestimmte Richtung bzw. ein bestimmtes Vorzeichen hat wobei ohne weiteres 
Anderungen mit dem gleichen Vorzeichen oder etwa mit entgegengesetzten Vorzeichen s.ch 
anschlie&en konnen, je nachdem welcher Typ von Musterelement der nachstfolgende und der 
als ubernachstes folgende ist. 

Bei solchen verschiedenen Typen von Musterelementen ist es selbstverstandlich zweckrnaSig, 
wenn diese Typen in einer kodierten Verteilung auf der Flache des projizierten Musters 
angeordnet sind. wobei der Begriff der kodierten Verteilung oben bereits erlautert wurde. Ein 
bevorzugtes Beispiel einer kodierten Verteilung ist einfach eine Zufallsverteilung der 
verschiedenen Typen von Musterelementen auf der gesamten Projektionsflache. Besonders 
bevorzugt ist es dabei, wenn alle vorstehend definierten Typen von Musterelementen, d. h. 
sowohl diejenigen, innerhalb deren Flachenbereich die physikalische GroSe jeweils ein 
konstantes Niveau hat, als auch diejenigen. die einen Flachenbereich haben, innerhalb dessen 
die physikalische GroSe sich jeweils kontinuierlich andert, fur die Erzeugung eines solchen 
Musters verwendet werden. 

ZweckmaGigerweise sollte der Flachenbereich eines Musterelementes in der Abbildungsebene 
maximal eine Anzahl von m x n Pixeln entsprechen, wobei m und n jeweils grofcer als 2 sind, 
gleichzeitig m jedoch deutlich kleiner als M, und n deutlich kleiner als N ist, wenn M x N die 
Gesamtzahl der erfaSten bzw. abgebildeten Bildpixel ist. 

Dabei ist es weiterhin zweckmaGig, wenn fur die Musterkodierung und Identifikation von 
Musterelementen bzw. charakteristischen Bereichen des Musters nur Anderungen ausgewertet 
werden. welche grofier sind als die Anderungen zwischen benachbarten Pixelgruppen innerhalb 
derjenigen Musterelementtypen, die mindestens teilweise eine kontinuierliche Anderung der 
physikalischen Gro&e aufweisen. Bereits weiter oben wurde schon erwahnt, daG die kleinen 
Anderungen der physikalischen GroSe, die entlang dieses Bereiches zwischen benachbarten 
Pixeln oder Pixelgruppen auftreten, im Vergleich zu den relativ starken Anderungen, die 
zwischen benachbarten Musterelementen auftreten konnen, ignoriert werden konnen. 
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Daruberhinaus ist eine Ausfuhrungsform der Erfindung bevorzugt, bei welcher zwei Messungen 
mit relativ zueinander abgewinkelten Triangulationsebenen vorgenommen werden, wobei bei 
den beiden Messungen die Triangulationsebenen vorzugsweise um ca. 90° gegeneinander 

abgewinkelt sind. 

Es erleichtert die Auswertung der Bilddaten wesentlich. wenn bei der Projektion des Musters 
auf eine Referenzebene die Abbildung der Zeilen des Musters auf dem Bildwandler im 
wesentlichen parallel zu den Zeilen des Bildwandlers erfo.gt. Als Referenzebene wird hier 
diejenige Ebene bezeichnet, die auf folgende Weise gebildet wird: (i) es wird eine Hilfsgerade 
definiert, die parallel zur optischen Achse der Projektionseinheit verlauft und die optische 
Achse der Aufnahmeeinheit schneidet, wobei die durch diese Gerade und die optische Achse 
der Aufnahmeeinheit aufgespannte Ebene im Sinne dieser Erfindung als "Triangulationsebene" 
bezeichnet wird; (ii) die Winkelhalbierende der optischen Achse der Aufnahmeeinheit und der 
Hilfsgeraden wird als Normalenvektor der Referenzebene festgelegt (die Referenzebene liegt 
damit senkrecht zur Triangulationsebene); (iii) die Referenzebene wird so gelegt, daS der 
Abstand zwischen den DurchstoGpunkten der beiden optischen Achsen durch die Referenz- 
ebene minimal ist. Diese Definition tragt der Tatsache Rechnung, dafi sich die beiden optischen 
Achsen bei einer realen Vorrichtung nicht exakt schneiden werden. auch wenn dies konstruktiv 
vorgesehen ist. Wenn nun die Zeilen des Musters parallel zur Triangulationsebene verlaufen, 
so wird das Abbild dieser Zeilen auf dem Bildwandler parallel zu den Zeilen des Bildwandlers 
verlaufen. Bei der Projektion dieses Musters auf eine Oberflache, die nicht der Referenzebene 
entspricht, wird die Abweichung von der Parallelitat lediglich klein zweiter Ordnung sein. 

Vorteilhaft ist es auch, wenn das Muster derart ausgebildet ist und die Projektion dieses 
Musters in der Art erfolgt, dali sich bei Projektion des Musters auf eine zur Triangulations- 
ebene senkrecht liegende ebene Flache mit einheitlicher Oberflachenausbildung eine in Zeilen 
geordnete Struktur ergibt, diese Zeilen parallel zur Triangulationsebene liegen und sich die 
charakteristischen vorstehend benannten MaSe der Anderung entlang dieser Zeilen ergeben. 

Weiterhin ist es zweckmafiig, wenn (i) das Muster unter Verwendung einer Strahlquelle und 
geeigneter optischer Mittel auf das zu vermessende Objekt projiziert wird; (ii) das zu 
projizierende Muster flachig, mit im wesentlichen rechtwinklig zueinanderstehenden Zeilen und 
Spalten mit jeweils gleichmaSiger Teilung ausgebildet ist und in der sich daraus ergebenden 
Teilung unterschiedliche geometrische Elemente angeordnet sind, die optisch durchlassig, 
undurchlassig oder tei.durch.assig sind; (iii) die Transparenz der teildurch.assigen Elemente in 
Ze.lennchtung sowohl stetig von undurchlassig zu durchlassig zunimmt oder von durchlassig 
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zu undurchlassig abnimmt; (iv) die geometrischen Elemente im zu projizierenden Muster derart 
angeordnet sind, daft sich in der Teilung der Spalten zwischen den geometrischen Eiementen 
ein Wechse! von durchlassig zu undurchlassig Oder von undurchlassig zu durchlassig derart 
ergibt, daft aus dem uber das Muster verceilten unterschiedlichen Vorzeichen des Maftes der 
Anderung im Teilungsraster der Spalten sich aus der Bildaufnahme des projizierten Musters 
von beliebig begrenzten zusammenhangenden Flachensegmenten des Objektes hinreichender 
Grofte eine eindeutige Zuordnung zu der jeweiligen projizierten Musterpartie bestimmen laftt; 
(v) die vom Objekt reflektierte Strahlung zumindest in Teiien durch geeignete optische Mittel 
auf einen flachigen CCD-Bildwandier, dessen strahlungsempfindliche Elemente ebenfalls in 
Zeiien und Spalten organisiert sind r abgebildet und von diesem in ein elektrisches Signal 
gewandelt wird und in diesem elektrischen Signal der Informatiohsgehalt der vom Objekt 
reflektierten Anteile des projizierten Musters zumindest in Teiien enthalten ist; (vi) die 
Richtungen der optischen Achsen fur die Projektion des Musters und fur die Abbildung des 
Objektes auf den Bildwandler voneinander verschieden sind; (vii) die Zeiien des zu projizieren- 
den Musters parallel zur Ebene, die von den optischen Achsen fur die Projektion und fur die 
Abbildung der reflektierten Strahlung auf den Bildwandler gebildet wird, ausgerichtet sind; (viii) 
die elektrischen Signale des Bildwandlers in diskrete Daten umgewandelt und einer Einheit fur 
die Verarbeitung und Speicherung von Daten zugefuhrt werden; (ix) die Daten der strahlungs- 
empfindltchen Elemente des Bildwandlers in Zeiien, die parallel zu der Triangulationsebene 
liegen, hinsichtlich des Maftes der Anderung der Strahlungsintensitat ausgewertet werden; (x) 
die sich dabei ergebenden Flanken bei im wesentlichen sprunghaften Anderungen ent- 
sprechend dem jeweiligen Vorzeichen des Maftes der Anderung den binaren Informations- 
elementen Null und Eins zugeordnet werden und (xi) die sich ergebenden Binarfolgen dazu 
dienen, Teile des Musters von anderen Teiien des Musters zu unterscheiden. 

Besteht beispielsweise ein Muster (i) aus schachbrettartig angeordneten schwarzen und 
weiften Eiementen, wird (ii) das Muster unter Verwendung von sichtbarem Licht und 
geeigneten optischen Mitteln auf ein weiftes Objekt mit beliebiger dreidimensionaler 
Erstreckung projiziert, wird (Hi) von dem Objekt ein Abbild unter Verwendung geeigneter 
optischer Mittel auf einem flachigen Bildwandler erzeugt, ist (iv) die Projektionsrichtung 
verschieden von der Aufnahmerichtung, wird (v) das Signal des Bildwandlers digitalisiert, in 
einer elektronischen Speichereinrichtung zwischengespeichert und einer Datenverarbeitungs- 
einheit zugefuhrt, ist (vi) der Bildwandler in rechtwinklig zueinander stehenden Zeiien und 
Spalten organisiert, ist (vii) das Muster in der Projektionseinrichtung derart positioniert, daft 
sich die Zeiien des schachbrettartigen Musters in Richtung der Zeiien des Bildwandlers 
erstrecken, sind (viii) sowohl die Projektionseinrichtung als auch die Aufnahmeeinrichtung 
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derart ausgebildet und positionien, daB der Triangulationswinkel zu einer Verzeichnung des 
Abbilds des schachbrettarrigen Musters in Spaltenrichtung des Bildwandlers erstrevkt (mit 
anderen Worten: erstreckt sich die vom Triangulationswinkel aufgespannte Ebene in Richtung 
der Spalten des projizierten Musters wie auch des 8ildwandlers), ist (ix) die Ausbildung der 
Musterelemente groSer als die Auflosung des Bildwandlers, so lassen sich im Bildspeicher 
Werte finden, die die Zeileninformation des Bildwandlers reprasentieren und die den 
Helligkeitswerten der weiSen und schwarzen Elemente des schachbrettartigen Musters 
entsprechen. Wertet man (x) diese Informationen entlang der entsprechenden Zeile des 
Bildwandlers aus, ergeben sich sprungartige Anderungen der Helligkeitsinformationen 
entsprechend dem Raster des projizierten Musters. Die Abweichungen der mafclichen 
Verhaltnisse der Helligkeitssprunge entlang einer Bildzeile gegenuber dem entsprechenden 
projizierten Muster reprasentieren bei bekanntem Strahlengang die raumliche Erstreckung des 
Objektes. Ist (xi) das Objekt im betrachteten Bereich hinreichend stetig und sowohl aus der 
Projektions- als auch aus der Aufnahmerichtung optisch zuganglich, ergeben sich in der Folge 
der Zeileninformation alternierend Helligkeitssprunge von hell nach dunkel und von dunkel nach 
hell. Werden (xii) die Helligkeitsinformationen durch die Digitalisierung als numerische Werte 
mit einer zu den Helligkeitswerten proportionalen Zuordnung dargestellt und berechnet man 
(xiii) die Helligkeitsanderung entlang der bezeichneten Spalte des Bildwandlers aus der 
Differenz zwischen dem jeweiligen Helligkeitswert an einer bestimmten Stella und der 
Helligkeitsinformation der in Zeilenrichtung nachfolgenden Bildstelle, ergeben sich abwechselnd 
positive und negative Werte, die dem Mali der Helligkeitsanderung entsprechen. Interpretiert 
man diese diskrete Folge von Werten als Helligkeitssignal, kann von positiven bzw. negativen 
Flanken dieses Signals gesprochen werden. 

In der bevorzugten Ausfuhrungsform der Erfindung werden die Bilddaten, die das aufprojizierte 
Muster mit der benannten statistischen Verteilung der Musterelemente und damit die 
entsprechende Kodierung reprasentieren, beziiglich dereinzelnen Musterelemente dahingehend 
fiberpruft, ob sich anhand der Aufnahme der Informationsgehalt des einzeinen Elementes 
eindeutig erkennen laSt. Ist diese Eindeutigkeit nicht gewahrleistet, ist das entsprechende 
Musterelement von der weiteren Datenverarbeitung auszuschlieSen. Aus den eindeutig zu 
erkennenden Musterelementen werden durch Flankenerkennung und -auswertung im weiteren 
die Informationselemente generiert und benachbarte eindeutig erkannte Informationselemente 
sogenannten Clustern zugeordnet. Ein Cluster ist im Sinne dieser Erfindung eine Gruppe 
benachbaaer Informationselemente. Aus dem Vergleich der decodierten Informationen des 
aufgenommenen, auf das Objekt aufprojizierten Musters mit dem zu projizierenden 
Musterinhalt kann die Plausibilitat der Anordnung der decodierten Informationen Oberpruft 
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werden. Kommt es hierbei zu Abweichungen, wird das abweichende Informationselement 
falsifiziert und ausgesondert. Falls das entsprechende Informationselement am Rand des 
Clusters liegt, ergibt sich eine entsprechend korrigierte Begrenzung. Falls das Informations- 
element in der Mitte eines Clusters liegt. ist unter Umstanden das Cluster zu tei.en und d.e 
eindeutige Zuordnuna beider sich ergebenden Teilcluster neu zu uberprufen. Sofern s.ch d,e 
kLeineren Custer nicht eindeutig zuordnen .assen. sind samt.iche entsprechende .nformafons- 
e.emente zu fa.sifizieren und auszusondern. Im Ergebnis sind in den Clustern zusammen- 
hangende Oberflachensegmente dargestel.t, deren Mustere.emente des aufprojizierten Musters 
sich aufgrund des im Cluster verfiigbaren Informationsgehalts der aneinandergrenzenden 
Musterelemente eindeutig zu dem entsprechenden Musterelement im zu projizierenden Muster 
zuordnen lassen. Aus der Position beispie.sweise des Schwerpunktes oder der sich ergebenden 
Hanken im Abbild im Verg.eich zu der Anordnung im zu projizierenden Muster .assen s.ch 
vermittels Triangu.ation dreidimensionale Koordinaten als Stutzpunkte der Oberf.ache des 
Objektes berechnen. Jeweils drei benachbarte nicht in einer Reihe liegende Stutzpunkte .assen 
sich erfindungsgemafi vorteilhaft a.s Dreieck und damit auch als dreieckige Flache def.n.eren, 
so da* eine bei anderen Verfahren erforderliche Flachenruckfuhrung aus einer Punktewo.ke 
nicht erforderlich ist. Im Ergebnis dieser Analyse und Berechnung der Bildinformationen aus 
einem Einze.bild sind digitale AbbHder von eindeutig in ihrer Gesta.t bestimmten zusammen- 
hangenden Oberflachensegmenten des Objektes verfugbar. Diese gegebenfal.s n.cht 
zusammenhangenden Segmente sind jedoch in ihrer dreidimensiona.en Position und 
Ausrichtung zueinander bekannt. 

Weitere Vorteile. Merkmale und Anwendungsmoglichkeiten der vorliegenden Erfindung ergeben 
sich aus der folgenden Beschreibung eines bevorzugten Ausfuhrungsbeispie.s und der 
zugehorigen Figuren. Es zeigen: 

Figur 1 einen Ausschnitt aus einem kodierten Muster und im unteren Teil Aspekte einer 

Auswertestrategie, 

Figur 2 zwei Abbildungen einer gekrummten Flache mit einem darauf projizierten 

Muster, und 

Figur 3 Abbildungen eines menschlichen Kopfes mit und ohne darauf projiziertes 

Muster, jeweils unter verschiedenen Blickrichtungen. 

' Figur 1 zeigt im oberen Bereich einen Ausschnitt aus einem kodierten Muster, und zwar in 
einer zur Projektionsachse senkrechten Ebene, und im unteren Bereich die Strukturen, die sich 
durch das Auswertungsverfahren gemaft der vorliegenden Erfindung ergeben. 
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In dem Muster gemaG Figur 1 erkennt man ein quadratisches Feld von 8 x 8 Musterelementen 
mit insgesamt vier verschiedenen Musterelementtypen. Gleichzeitig ist Gber das abgebildete 
Muster auch ein Gitternetz von Bildpixeln gelegt, auf welches ein entsprechendes Muster 
abgebildet werden kann. Wie man erkennt. beansprucht jedes Musterelement einen 
Flachenbereich von 8 x 5 Bildpixeln. Die vier verschiedenen Musterelementtypen sind allesamt 
innerhalb des oberen linken Bereiches von 3 x 2 Musterelementen erkennbar. Als physikalisch 
mefcbare GroGe fur die Identifizierung der Musterstrukturen kann hier beispielsweise der 
Schwarzungsgrad eines Pixels oder aber der Schwarzungsgrad einer Gruppe jeweils fiinf 
iibereinanderliegender Pixel verwendet werden. Umgekehrt konnte man selbstverstandlich 
auch ein Negativ dieses Musters verwenden, in welchem schwarze gegen weiSe Flachen 
ausgetauscht waren. 

Bei dem Musterelement ganz oben links in Figur 1 hat man am linken Rand den maximal 
auftretenden Schwarzungsgrad dieses Musters, wobei anschlieSend der Schwarzungsgrad von 
links nach rechts kontinuierlich abnimmt und konkret erfafJt werden konnte als Summe der 
Schwarzungsgrade aller funf Pixelelemente in einer Spalte ubereinander. die in den 
Flachenbereich dieses Musterelementes fallen. Die achte Gruppe aus in einer Spalte 
ubereinander angeordneten funf Pixeln dieses Musterelementes weist keinerlei Schwarzungs- 
grad mehr auf und ist vollstandig weiS. Rechts daneben folgt ein weiteres Musterelement 3, 
welches uber seine ganze Flache hinweg den maximalen Schwarzungsgrad hat. Dieses 
Musterelement 3 ist hier konkret mit der Bezugszahl 1 bezeichnet. 

Das nachstfolgende Musterelement 2 ist dem Musterelement 1 weitgehend ahnlich, mit dem 
e.nz,gen Unterschied. daS der Schwarzungsgrad der acht spaltenweise angeordneten 
P.xelgruppen dieses Musterelements von links nach rechts kontinuierlich zunimmt, wahrend 
er beim Musterelement 1 kontinuierlich abnahm. 

Unter dem Musterelement 1 ist ein Musterelement 4 erkennbar. welches sich von dem 
Musterelement 2 dadurch unterscheidet, da* es auf seiner gesamten Fiache keinerlei 
Schwarzungsgrad hat. Charakteristisch sind fur das Muster vor al.em die Ubergange zwischen 
benachbarten Musterelementen, die einen Obergang von weiB nach schwarz oder von schwarz 
nach weift bilden konnen, wobei die Musterelemente i und 3 es auch ermoglichen, daS sich 
-denfsche Ubergange von schwarz nach weiS bzw. von wei* nach schwarz an aufeinander- 
folgenden Musterelementen mehrfach wiederholen. 

lm einzelnen soil dies nun anhand des unteren Bereiches der Figur 1 erlautert werden. Man 
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betrachtet z. B. im oberen Teil der Figur 1 die mit 8 bezsichnete Reihe von Pixeln in der (von 
oben gezahlt) 7. Reihe von Musterelementen des Musters. Wenn man diese Pixelzeile 8 von 
links nach rechts durchlauft und in vertikaler Richtung jeweils den Schwarzungsgrad des 
erfaBten Pixels auftragt. so ergibt sich der in der Zeiie 10 des unteren Bildteiles dargestellte 
Verlauf des Schwarzungsgrades. Zunachst ist in der Zeile 8 von Pixeln der Schwarzungsgrad 
auf einem Maximalwert, springt dann beim Obergang vom dritten auf das vierte Pixel dieser 
Reihe auf einen minimalen Wert, der einem weiBen Pixel entspricht. Die nachsten funf Pixel 
bleiben weiB, zeigen also den minimalen Schwarzungsgrad an, wobei beim Obergang zum 
nachsten Musterelement in dieser Zeile wiederum ein Sprung auf den maximalen Schwarzungs- 
grad stattfindet. Da dieses Musterelement mit dem vorangehenden identisch ist, wiederholt 
sich der Kurvenverlauf . Beim Obergang zum nachsten Musterelement findet wiederum ein 
Sprung auf den maximalen Schwarzungsgrad statt, der dann allerdings auch konstant erhalten 
bleibt, bis der Obergang zum vierten Musterelement stattfindet, welches vollstandig weiB ist. 
Innerhalb dessen Flachenbereich bleibt die Pixelzeile 8, die den Schwarzungsgrad anzeigt, auf 
dem minimalen Wert, wie es in der Zeile 1 0 dargestellt ist. Die Fortsetzung des Kurven verlauf s 
ergibt sich analog zu der vorstehenden Beschreibung. 

Der Kurvenverlauf gemaB der Zeile 10 wurde sich im ubrigen auch dann ergeben, wenn man 
jeweils funf Pixel einer Spalte aus dieser Reihe von Musterelementen zusammenfassen wurde 
und lediglich einen Schwellwert fur den Schwarzungsgrad festlegen wurde, oberhalb dessen 
die Kurve auf ihren Maximalwert springt und unterhalb dessen sie den Minimalwert annimmt. 

Die darunterliegende Kurve 1 1 wird in etwas anderer Weise gewonnen. In diesem Fall werden 
jeweils die Schwarzungsgrade funf ubereinanderliegender Pixel in der Gruppe von Pixelreihen 
wiedergegeben, die im oberen Bildteil mit 9 gekennzeichnet sind und die eine Reihe von 
Musterelementen definieren. Ganz links befindet sich ein weiBes Musterelement 4, so daB 
entsprechend in der Zeile 1 1 im Bereich dieses Musterelementes ein minimaler Schwarzungs- 
grad angezeigt wird. Dann findet ein Sprung auf ein vollstandig schwarzes Musterelement 
statt. so daB- anschlieBend im Bereich des zweiten Musterelementes durchgehend der 
maximale Schwarzungsgrad wiedergegeben wird. Dann erfolgt wiederum ein Sprung nach 
unten in eine weiBe Pixelspalte ohne jeden Schwarzungsgrad, anschlieBend nimmt jedoch der 
Schwarzungsgrad von Pixelspalte zu Pixelspalte kontinuierlich zu, bis am Ende des dritten 
Musterelementes wieder der maximale Schwarzungsgrad erreicht ist. Dies wiederholt sich im 
vierten Musterelement, wahrend das funfte Musterelement wieder dem ersten entspricht. Das 
sechste Musterelement unterscheidet sich von dem dritten und vierten Musterelement nur 
durch das Vorzeichen der Anderung des Schwarzungsgrades, d. h. bei dem sechsten Element 
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nimmt der Schwarzungsgrad von einem maximalen Anfangswert von links nach rechts 
kontinuierlich ab auf den Minimalwert. Das siebte Musterelement dieser Musterelementreihe 
ist mit dem zweiten identisch, und das achte Musterelement entspricht wiederum dem dritten 
und vierten Musterelement dieser Reihe. 

In der darunter wiedergegebenen Zeile 1 2. ist eine Auswertung dieser Struktur wiedergegeben, 
die man anschaulich auch a.s Ableitung der in der Zeile 11 wiedergegebenen Kurve 
beschreiben konnte. Konkret sind in der Zeile 1 2 jeweils die Differenzen der Schwarzungsgrade 
zweiter aufeinanderfolgender Pixelspalten aus jeweils funf ubereinanderliegenden Pixeln in der 
Reihe 9 von Musterelementen wiedergegeben. Maximal sind diese Anderungen jeweils am 
Ubergang von einem Musterelement zum nachsten Musterelement, wenn dies ein Ubergang 
von einer rein schwarzen Pixelspa.te zu einer rein weiSen Pixelspalte ist Oder umgekehrt. Den 
Wert Nul. haben diese Anderungen innerhalb der rein we.Ben oder rein schwarzen Muster- 
elemente oder bei einem (hier nicht vorkommenden) Ubergang von einem rein weifcen oder rein 
schwarzen zu einem gleichartigen Musterelement ( a.sao von Musterlement 3 zu 3 oder von 
4 zu 4), und einen vergleichsweise kleinen Wert haben diese Anderungen in dem Bereich, in 

welchem sich der Schwarzungsgrad der Musterelemente kontinuierlich von links nach rechts 
andert. 

Wie man in der Zeile 12 erkennt, ergibt sich beim Ubergang von weiS nach schwarz ein 
Ausschlag der Kurve nach oben, wahrend sich beim Obergang von schwarz nach weifi ein 
Ausschlag der Kurve nach unten ergibt. Die Musterelemente mit kontinuierficher Anderung des 
Schwarzungsgrades, hier konkret in Form von Dreiecken, ermog.ichen es, da*, wie man in der 
Ze.ie 12 erkennt, mehrere positive oder negative Peaks aufeinanderfolgen konnen, was die 
Herstellung eines kodierten Musters erleichtert. 

In der Zeile 13 sind die positiven und negativen Peaks am Bereich der Mustere.ementuber- 
gange ledig.ich durch aufwarts oder abwarts weisende Pfeiie ersetzt, und in der Zeile 14 ist 
erne b.nare Darstellung dieser Pfeilrichtungen oder Peakrichtungen in Form der Ziffern 1 und 
0 w.edergegeben, wobei positive Peaks bzw. aufwarts weisende Pfeiie durch eine Ziffer 1 
reprasentiert werden, wahrend negative Peaks oder abwarts gerichtete Pfeiie durch eine Ziffer 
0 reprasentiert werden. Damit laKt sich die erfaGte Struktur in Form von digitalen Zahlen, 
konkret in Binarzahlen, in einfacher Weise verarbeiten. 

In Figur 3 erkennt man eine im Raum gekrummte Flache, auf welcher ein Muster aufprojiziert 
.st. wobei die Betrachtungsrichtung die Richtung senkrecht zur Papierbene ist, wahrend die 
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Richtung der Projektion auf das Muster gegenuber der Betrachtungsrichtung urn den 
Triangulationswinkel geneigt ist. Unter der Annahme. dafc samtliche erkennbaren Muster- 
elemente im Prinzip den gleichen Flachenbereich beanspruchen, ergibt sich aus der verzerrten 
groSeren Form dieser Musterelemente, daG z. B. Bereiche. in welchen die Musterelemente in 
horizontals Richtung langgestreckt erscheinen. relativ zurProjektionsrichtung stark geneigten, 
jedoch in Betrachtungsrichtung wenig geneigten Flachenbereichen entsprechen, wahrend es 
sich dort, wo die Musterelemente scheinbar relativ eng beieinanderliegen bzw. in horizontaler 
Richtung verkurzt erscheinen, gerade umgekehrt ist. Unter Kenntnis des relativen Winkels 
zwischen Betrachtungsrichtung und Projektion srichtung laBt sich die exakte Lage jedes 
Flachenbereiches im Raum ermitteln. Gleichzeitig wird jedoch aus der Figur 2 auch ein 
besonderes Problem deutlich, welchem sich herkommliche Mustererkennungsverfahren beiden 
dargestellten Abbildungsverhaltnissen gegenubersehen wurden. welches jedoch durch das 
Verfahren der vorliegenden Erfindung ohne weiteres bewaitigt wird. Bei der abgebildeten 
Oberflache ist namlich offenbar der Lichteinfall gerade so, daft im rechten Randbereich des 
erkennbaren Musters offenbar Reflexe auftreten, so daS das Muster in diesem Bereich 
wesentlich heller erscheint als im ubrigen Bereich. Im unteren Teil der Figur 2 erkennt man eine 
Negativdarstellung des oberen Musters, so dafi in diesem Fall der rechte Bereich des Musters 
wesentlich dunkler erscheint. Dies erschwert die Erkennung des Musters mit herkdmmlichen 
Mustererkennungsverfahren ganz erheblich oder macht sie sogar unmoglich. GemaS der 
vorliegenden Erfindung werden jedoch nur die Hell-Dunkel-Grenzen zwischen benachbarten 
Musterelementen als eindeutig lokalisierte Punkte erfaSt, und diese Hell-Dunkel-Ubergange 
finden sich nach wie vor auch in dem Bereich, der durch einen Reflex gestort wird und sind 
dort als solche immer noch deutlich erkennbar. so dafc sie entsprechend der oben zu Figur 1 
beschriebenen Auswertung z. B. eindeutig durch die Ziffern 0 und 1 gekennzeichnet werden 
konnten. 

Figur 3 zeigt ein konkretes Anwendungsbeispiel in Form der Erfassung der raumiichen 
Strukturen eines menschlichen Gesichtes. Wahrend links in Figur 3 das Modeil eines 
menschlichen Gesichtes einmai unter ca. 30° zur Symmetrieebene des Gesichtes und einmai 
unter ca. 75° zur Symmetrieebene des Gesichtes als Foto wiedergegeben ist, sind rechts 
jeweils dieselben Ansichten mit einem auf das Gesicht projizierten Muster zu erkennen. Die 
Projektionsrichtung liegt dabei in der Symmetrieebene des Gesichtes und im wesentlichen 
horizontal. Unter Kenntnis des Triangulationswinkels, d. h. des Winkels zwischen der 
Symmetrieebene des Gesichts und der Betrachtungsrichtung, also der Normalen zur Bildebene, 
und weiterhin unter Kenntnis der realen Musterstruktur, die sich beim Projizieren auf eine zur 
Projektionsrichtung senkrechte Flache ergeben wurde, laBt sich anhand der Abstande der 
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einzelnen Hell-Dunkel-Ubergange in dem abgebildeten Projektionsmuster mit Hilfe ent- 
sprechender Auswerteaigorithmen die raumliche Struktur der Gesichtsoberflache erfassen und 
digital speichern. Dies wiederum kann verwendet werden furZwecke der Personenerkennung 
Oder aber fur Zwecke der Medizin. wie z. B. bei der computergestutzten, minimalinvasiven 
Chirurgie. 
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Patentanspruche 



Verfahren zur ir.rfassung der raumlichen Struktur einer dreidimensionalen Oberfiache 
durch Projizieren eines Musters auf die Oberfiache entlang einer Projektionsrichtung, 
die eine erste Achse definiert, und durch pixelweise Erfassung mindestens eines 
Bereiches des auf die Oberfiache projizierten Musters mit Hiife eines oder mehrerer 
Sensoren in einer Betrachtungsrichtung des Sensors oder der Sensoren, welche eine 
zweite Achse definiert, wobei die erste und die zweite Achse (oder eine zur zweiten 
Achse paraliele Gerade) sich unter einem von 0° verschiedenen Winkel schneiden, so 
date die erste und die zweite Achse (bzw. die hierzu paraliele Gerade) eine Triangula- 
tionsebene aufspannen, wobei das Muster mindestens bei Projektion in eine Ebene 
senkrecht zur ersten Achse durch eine sich andernde, von dem Sensor (Sensoren) 
erfafcbare physikalische Grofce definiert ist und wobei das Muster derart ausgestaltet 
ist, daS die Differenz der physikalisch me&baren Grdfce, gemessen zwischen 
vorgebbaren Biidpixeln oder Pixelgruppen entlang einer vorgebbaren, vorzugsweise zur 
Triangulationsebene parallelelen, Pixelreihe mindestens zwei verschiedene Werte 
annimmt, dadurch gekennzeichnet, da& zur Auswertung der abgebiideten Muster- 
struktur jeweiis nur Anderungen der physikalischen Gro&e zwischen den vorgebenen 
Pixeln oder vorgegebenen Pixelgruppen einer oder mehrerer, vorzugsweise zur 
Triangulationsebene parallelen, Pixelreihen erfafct und in raumliche Koordinaten der 
Oberfiache umgerechnet werden. 

Verfahren nach Anspruch 1, dadurch gekennzeichnet, daft die Differenz der 
physikalisch mefcbaren GroSe jeweiis zwischen benachbarten Pixeln oder Pixelgruppen 
entlang einer vorgegebenen Richtung ermittelt wird. 

Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, da& das Muster derart 
ausgerichtet ist, dafc die entlang einer Richtung auftretenden Anderungen der 
physikalisch mefcbaren Grofce dem Betrag nach mindestens teiiweise die zwischen 
beliebigen, gleich grofcen Pixeln oder Pixelgruppen in dem abgebiideten Muster maximal 
auftretende Differenz annehmen, wobei die ubrigen auftretenden Anderungen entlang 
dieser Richtung vergleichsweise kieine Werte annehmen 
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Verfahren nach einem der Anspruche 1 -3, dadurch gekennzeichnet, daB jeweils in 
einer Spalte ubereinanderiiegende Pixel mehrerer paralleler Pixelreihen zu einer 
Pixelgruppe zusammengefaSt und die Anderungen der physikalischen GroSe jeweils 
zwischen derartigen benachbarten Pixelgruppen ausgewertet werden. 

Verfahren nach Anspruche 1 - 4, dadurch gekennzeichnet. daft das Muster ein 
kodiertes Muster ist, bei welchem verschiedene Musterbereiche einer hinreichenden 
GroSe voneinander unterscheidbar und in ihrer Position innerhalb des Gesamtmusters 
festgeiegt sind. 

Verfahren nach einem der Anspruche 1 bis 5, dadurch gekennzeichnet, daB das Muster 
aus Mustereiementen gebildet wird, die in einer Ebene senkrecht zur Projektions- 
richtung jeweils etwa gleich groBe Flachen beanspruchen. 

Verfahren nach Anspruch 6. dadurch gekennzeichnet, daB mindestens zwei Typen von 
Mustereiementen vorgesehen sind, in deren Flachenbereich die meObare physikalische 
GroBe jeweils einen nahezu konstanten Wert hat. wobei sich der Wert dieser 
physikalischen GroBe zwischen den beiden Typen von Mustereiementen deutlich 
meBbar unterscheidet. 

Verfahren nach Anspruch 6 oder 7, dadurch gekennzeichnet, daB mindestens ein Typ 
eines Musterelementes vorgesehen ist, bei welchem sich mindestens innerhalb eines 
Teiles seines Flachenbereiches entlang einer vorgegebenen Richtung der Wert der 
physikalischen GroBe im wesentlichen kontinuieriich verandert. 

Verfahren nach Anspruch 3, dadurch gekennzeichnet, daB mindestens zwei Typen von 
Mustereiementen vorgesehen sind, die sich durch das Vorzeichen der Anderung der 
physikalischen GroBe innerhalb ihres Flachenbereiches und entlang der vorgegebenen 
Richtung unterscheiden. 

Verfahren nach einem der Anspruche 5 bis 9, dadurch gekennzeichnet, daB die . 
verschiedenen Typen von Mustereiementen in einer kodierten Verteilung auf der Flache 
des projizierten Musters angeordnet sind. 
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11. Verfahren nach einem der Anspruche 5 bis 10, dadurch gekennzeichnet, daft die 
verschiedenen Typen von Musterelementen in einer Zufallsanordnung uber die 
Projektibnsflache verteiit sind. 

12. Verfahren nach einem der Anspruche 6 bis 11, dadurch gekennzeichnet, dafc der 
Flachenbereich eines Musterelementes in der Abbildungsebene einem Feid von m x n 
Pixein entspricht mit m, n > 2 und m < < M und n < < N, wobei M x N die 
Gesamtzahi der erfafcten Bildpixei ist. 

13. Verfahren nach einem der Anspruche 5 bis 12, dadurch gekennzeichnet, dafc fur die 
Musterkodierung und identifizierung der Lage von Musterelementen nur Anderungen 
ausgewertet werden, weiche grower sind als die Anderungen zwischen benachbarten 
Pixein oder Pixelgruppen innerhalb der in den Anspruchen 6 und 7 definierten 
Mustereiemente. 

14. Verfahren nach einem der Anspruche 1 bis 13, dadurch gekennzeichnet, daB zur 
Erfassung der raumlichen Struktur der dreidimensionalen Oberflache mindestens zwei 
Messungen mit relativ zueinander abgewinkelten Triangulationsebenen durchgefuhrt 
und miteinander kombiniert werden. 
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(Artikel 18 sowie Regeln 43 und 44 PCT) 



Aktenzeichen des Anmelders Oder Anwalts 

syr9801.pct 



Internationales Aktenzeichen 
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WEITERES siehe Mitteilung Ciber die Ubermittlung des internationalen 

Recherchenberichts (Formblart PCT/ISA/220) sowie, soweit 
VORGEHEN zutreffend. nachstehender Punkt 5 



Internationales Anmeldedatum 
(Tag/'Monat/Jahr) 

29/04/1999 



(Fruhestes) Prioritatsdatum (Tag/MonatiJahr) 

14/05/1998 



Anmelder 



SYRINX MEDICAL TECHNOLOGIES GMBH et al 



Dieser Internationale Recherchenbericht wurde von der Internationalen Recherchenbehdrde erstellt und wird dem Anmelder gemaG 
Artikel 18 Cibermittelt Eine Kopie wird dem Internationalen Buro Cibermittelt 

Dieser Internationale Recherchenbericht umfaGt insgesamt __4 Blatter. 

PT| Daruber hinaus liegt ihm jeweils eine Kopie der in diesem Bericht genannten Unterlagen zum Stand der Technik bei. 



1 . Grundlage des Berichts 

a. Hinsichtlich der Sprache ist die Internationale Recherche auf der Grundlage der internationalen Anmeldung in der Sprache 
durchgefuhrt worden, in der sie eingereicht wurde, sofern unter diesem Punkt nichts anderes angegeben ist. 

| [ Die internationale Recherche ist auf der Grundlage einer bei der Behdrde eingereichten Ubersetzung der internationalen 
Anmeldung (Regel 23.1 b)) durchgefuhrt worden. 

b. Hinsichtlich der in der internationalen Anmeldung offenbarten Nucleotid- und/oder Aminosauresequenz ist die internationale 
Recherche auf der Grundlage des Sequenzprotokolls durchgefuhrt worden, das 

| | in der internationalen Anmeldung in Schriflicher Form enthalten ist 

| | zusammen mit der internationalen Anmeldung in computerlesbarer Form eingereicht worden ist 

| | bei der Behorde nachtraglich in schriftlicher Form eingereicht worden ist. 

| | bei der Behorde nachtraglich in computerlesbarer Form eingereicht worden ist 

[ | Die Erklarung, da3 das nachtraglich eingereichte schriftliche Sequenzprotokoll nicht Ciber den Off enbarungsge halt der 

— internationalen Anmeldung im Anmeldezeitpunkt hinausgeht wurde vorgelegt 

| | Die Erklarung. da3 die in computerlesbarer Form erfaBten Informationen dem schriftlichen Sequenzprotokoll entsprechen. 
wurde vorgelegt 

2. Bestimmte Anspriiche haben sich als nicht recherchierbar erwiesen (siehe Feld I). 

3. Q^j Mangelnde Einheitlichkeit der Erfindung (siehe Feld II). 

4. Hinsichtlich der Bezeichnung der Erfindung 

| | wird der vom Anmelder eingereichte Wortlaut genehmigt. 
|~X~| wurde der Wortlaut von der Behorde wie folgt festgesetzt: 

ERFASSUNG DER RAUMLICHEN STRUKTUR EINER DREIDIMENSIONALEN OBERFLACHE 



Hinsichtlich der Zusammenfassung 

I — I wird der vom Anmelder eingereichte Wortlaut genehmigt. 

— wurde der Wortlaut nach Regel 38.2b) in der in Feld III angegebenen Fassung von der Behorde festgesetzt. Der 
[X| Anmelder kann der Behorde innerhalb eines Monats nach dem Datum der Absendung dieses internationalen 
Recherchenberichts eine Stellungnahme vorlegen. 

Folgende Abbildung der Zeichnungen ist mit der Zusammenfassung zu veroffentlichen: Abb. Nr. — ] 

\T\ wie vom Anmelder vorgeschlagen □ keine der Abb. 

[ | weil der Anmelder selbst keine Abbildung vorgeschlagen hat. 
[ | weil diese Abbildung die Erfindung besser kennzeichnet 
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Feld III 



WORTLAUT DER ZUSAMMENFASSUNG (Fortsetzung von Punkt 5 auf Blatt 1) 



Die Zusammenfassung 1st wie folgt zu andern: 
Zeile 10: 

Der mit den Worten "und wobei . . . " beginnende und den 

Worten " . . . umgerechnet werden." endende Teil ist zu streichen. 
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A. KLASSIFIZtERUNG DES ANMELOUNGSGEGENSTANDES 

IPK 6 G01B11/24 A61B5/107 G06T9/20 



G06T7/60 



Nach der Internationalen Patentkiassifikation (IPK) cder nach d9r nationalsn Klassifikation und der IFK 



B. RECHERCHIERTE GEBIETE 



Recherchierter Mindestprufstoff (Klassifikationssysiem und Klassifikationssymbole ) 

IPK 6 G01B A61B G06T G01S 



fiecherchiene aber nicht zum Mindestprufstoff gehoranda Verdffentlichungan. ©oweit diese untardie recherchierten Gebiete fallen 



Wahrend der internationalen Recherche konsuitierta elektrontsche Datenbank (Name der Datenbank und evtl. verwendete Suchbegriffe) 



C. ALS WESENTLICH ANGESEHENE UNTERLAGEN 



Kategorie 0 Bezeichnung der Veroffentlichung, soweit erforderlich unter Angabe der in Betracht kommenden Teile 



Betr. Anspruch Nr. 



US 4 867 570 A (SORIMACHI KANEHIRO ET AL) 
19. September 1989 (1989-09-19) 
Spalte 4, Zeile 29 -Spalte 6, Zeile 30; 
Abbildungen 2,3 

US 4 825 263 A (DESJARDINS PAUL J ET AL) 
25. April 1989 (1989-04-25) 
Spalte 6, Zeile 12 -Spalte 6, Zeile 68; 
Abbildung 4B 

DE 44 36 500 A (ZEISS CARL JENA GMBH) 
11. Mai 1995 (1995-05-11) 
das ganze Dokument 

-/~ 



Weitere Veroffentlichungen sind der Fortsetzung von Feld C zu 
entnehmen 



Siehe Anhang Patentfamilie 



T" Spatere Veroffentlichung, die nach dem internationalen Anmeldedatum 
Oder dem Prioritatsdatum veroffentlicht worden ist und mit der 
Anmeldung nicht kollidiert. sondern nur zum Verstandnis des der 
Erfindung zugrundeliegenden Prinzips Oder der ihr zugrundeliegenden 
Theorie angegeben ist 
-X" Veroffentlichung von besonderer Bedeutung; die beanspruchte * frtmaung 
kann allein aufgrund dieser Veroffentlichung nicht als neu Oder aur 
scneinen zu lassen, oaer aurcn a » v«u..«n. K ..u.^ u ... — erfinderischer Tatigkeit beruhend betrachtet werden 

anderen im Recherchenbericht genannten Veroffentlichung belegt werden -y- veroffentlichung von besonderer Bedeutung; die beanspruchte tmnauny 

J ' — '"* 5 " kann nicht als auf erfinderischer Tatigkeit beruhend b ® trac ™3' ron 

werden, wenn die Veroffentlichung mit einer oder mehreren anae ren 
Veroffentlichungen dieser Kategorie in Verbindung gebracnt wira una 
diese Verbindung fur einen Fachmann naheliegend ist 



* Besondere Kategorien von angegebenen Veroffentlichungen 
"A" Veroffentlichung, die den allgemeinen Stand der Technik definiert, 

aber nicht als besonders bedeutsam anzusehen ist 
"E" Uteres Dokument. das jedoch erst am Oder nach dem internationalen 

Anmeldedatum veroffentlicht worden ist 
T" Veroffentlichung. die geeignet ist, einen Priori tats anspruch zweifelhaft er- 

scneinen zu lassen, Oder durch die das Verorfentlichungsdatum einer 



soil oder die aus einem anderen besonderen Grund angegeben ist (wie 
ausgefuhrt) 

"O" Veroffentlichung, die sich auf eine mundliche Offenbarung, 

sine 8enutzung : eine Ausstellung oderandere MaGnahmen bezieht 
"P" Veroffentlichung, die vor dem internationalen Anmeldedatum, aber nach 
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identification of given regions of the bar pattern so that the first distorted 
pattern can be adapted to the projected pattern, wherein the parameters of 
such adaptation afford the structure of the surface which produces the 
above-mentioned distortion effects. 

Another similar process which uses an encoded pattern is known 
from German patent application No 196 38 727, in which respect that 
process is not limited to encoding of a pattern only in one direction but is 
composed of individual distinguishable pattern elements each of similar 
respective structure and size, wherein the pattern elements also differ 
alternately from each other in mutually perpendicular directions. An 
encoded pattern is characterised in that at least portions of the pattern 
which are of a given minimum size are not repeated at any point in the 
entire pattern surface. Even if that requirement is not satisfied in the strict 
sense, this means that repetitions of pattern structures can certainly also 
occur as long as those repetitions are only sufficiently far apart on the 
pattern surface that, upon evaluation of an imaged pattern structure, there 
is practically no possibility of confusion between two randomly identical 
regions of the pattern. 

All previously known processes however basically operate on the 
principle of pattern recognition, that is to say imaging, implemented by 
calculation, of the flat pattern on to the distorted pattern of which the 
image is formed from the viewing direction on a non-flat surface. Problems 
always occur in that respect however when the information content of the 
projected pattern element can vary in the imaging procedure, depending on 
the spatial extent or other configuration of the surface. If for example the 
physical parameter which is to be measured and which varies and by which 
the pattern structure is defined " includes the color of the pattern or of 
individual pattern elements, then interpretation of color information in the 
projected pattern can be interfered with or even made impossible, by virtue 
of the surface being colored in nature. When using different line widths for 
a pattern the line width in the image depends not only on inclinations of the 
surface in a direction parallel to the triangulation plane but also inclinations 
of the object or the surface with respect to a line normal to the 
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Process for detecting the spatial structure of a 
three-dimensional surface 



The present invention concerns a process for detecting the spatial 
structure of a three-dimensional surface by projection of a pattern on to the 
surface along a projection direction which defines a first axis, and by pixel- 

10 wise detection of at least one region of the pattern projected on to the 
surface, by means of one or more sensors in a viewing direction of the 
sensor or sensors, which defines a second axis, wherein the first and the 
second axes (or a straight line parallel to the second axis) intersect at an 
angle different from 0° so that the first and the second axes (or the straight 

15 line parallel thereto) define a triangulation plane, wherein the pattern is 
defined at least upon projection into a plane perpendicularly to the first axis 
by a varying physical parameter which can be detected by the sensor 
(sensors), and wherein the pattern is such that the difference in the 
physically measurable parameter, measured between predeterminable 

20 image pixels or pixel groups, along a predeterminable pixel row which is 
preferably parallel to the triangulation plane, assumes at least two different 
values. 

Such a process is known for example from US patent No 5 615 003. 
The pattern which is specifically disclosed in that patent specification 

25 has a very high degree of similarity to bar codes as have already long been 
in use for example in the retail trade for identifying products and prices, 
wherein the sequence of lines or bars of different thicknesses defines a 
series of binary numbers which is clearly associated for example with a 
product and its price. For the purposes of detecting the spatial structure of 

30 a three-dimensional surface however the bar widths and the spacings 
between bars of that kind are distorted according to the respective specific 
structure of the surface involved and the known process is distinguished by 
devices and measures which, in spite of the distortion effect, permit 
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triangulation plane. This means that, upon the projection of lines of 
different width, by virtue of the spatial extent of the surface being of a 
disadvantageous configuration, for example a narrow line in the image is 
represented in a width which is of the order of magnitude of the image of a 
5 line which is wide in the projected pattern, and accordingly can result in an 
incorrect item of information in the evaluation procedure. 

In addition the evaluation of encoded patterns involving a differing 
geometrical configuration of pattern elements imposes very high demands 
on the evaluating data processing procedure as the geometry of the 
10 projected pattern elements can recur in severely deformed condition in the 
image. 

In comparison with the above-depicted state of the art, the object of 
the present invention is to provide a process for detecting the spatial 
structure of a three-dimensional surface, which is substantially independent 
15 of different inclinations with respect to a line normal to the triangulation 
plane and also independent of the other surface properties which 
independently of the spatial extent of the surface can influence the physical 
parameter to be measured. 

That object is attained in that, for the purposes of evaluation of the 
20 imaged pattern structure only changes in the physical parameter between 
the predetermined pixels or predetermined pixel groups of one or more 
pixel rows which are preferably parallel to the triangulation plane are 
detected and converted into spatial co-ordinates of the surface. 

In that respect the changes in the physical parameter are detected at 
25 least in the component thereof parallel to the triangulation plane and 
converted into spatial co-ordinates. 

The fact that only changes in the physical measurement parameter 
of the pattern, which is to be detected, are detected, preferably between 
adjacent pixels or adjacent pixel groups, means that specific surface 
30 properties are so-to-speak eliminated as the surface regions which are 
imaged or reproduced in particular by adjacent pixels generally have the 
same properties. The inclination of the surface with respect to a line normal 
to the triangulation plane also has no effect on detection and possibly 
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identification of the pattern structure as it is not the pattern that is 
detected in respect of its specific dimensions and shapes and compared to 
the original projection pattern and adapted thereto, but only the values of 
the physical parameter which is of interest, being measured in 
predetermined preferably adjacent pixels or pixel groups, are compared to 
each other, more specifically by forming the difference thereof. In that case 
the specifically imaged pattern is then produced simply on the basis of 
characteristic changes in the physical parameter from given pixels to other 
predetermined pixels, in particular their adjacent pixels, or from given pixel 
groups to other predetermined and preferably adjacent pixel groups, or 
along another suitable sequence of pixels which are to be compared 
together. 

As in accordance with the invention the change in the values, which 
are detected or reproduced in the image pixels, of the specifically evaluated 
physical parameter, can assume at least two different values, those 
differing values in respect of the change, which can occur from one pixel to 
another or from one pixel group to another, make it possible to define and 
recognise structures without the specific properties of the surface playing a 
part in that respect. 

Desirably the pattern is so oriented that, in a predetermined 
measurement direction along which pixels or pixel groups are compared to 
each other, there are change values which are at a maximum in respect of 
amount at least in part while the other change values which occur are 
comparatively small in respect of amount or are of the value zero. 

In a preferred variant of the present invention a respective plurality 
of pixels, which are disposed in mutually superposed relationship in a 
column, of pixel rows which are adjacent in the column direction, are 
assembled to form a pixel group, and the changes in the physical 
parameter are evaluated between respective ones of such pixel groups 
which are adjacent in the line direction. It would however also be possible 
to compare groups of adjacent pixels which each comprise a plurality of 
pixels disposed in juxtaposed relationship in the line direction. In a variant 
of that configuration, the pixels which are assembled to form a respective 



group, from a plurality of lines, can also be displaced relative to each other, 
that is to say they can originate from different columns which however are 
preferably in close proximity with each other. 

It will be appreciated moreover that the 'lines* and 'columns' of pixels 
5 of an image sensor or image, as those terms are used in the context of the 
present application, do not necessarily have to extend along straight lines 
which intersect in mutually perpendicular relationship. 

A particularly preferred embodiment of the invention is one in which 
the pattern is in the form of an encoded pattern, in which respect that 

10 requirement is not to be interpreted in a strict sense. 

Desirably the pattern structures are relatively small in comparison 
with the overall extent of the pattern and also the minimum size of the 
surface regions which have a pattern structure which is not repeated should 
be as small as possible in comparison with the overall surface area of the 

15 pattern as in that way the respective clearly identifiable pattern structures 
can be suitably accurately located. Pattern repetitions however may also 
occur at a sufficiently large spacing in many situations of use. 

A further preferred embodiment of the invention is one in which the 
pattern is formed by individual pattern elements which each occupy 

20 approximately equal areas in a plane perpendicular to the projection 
direction. The equal-size surface regions of individual elements facilitate the 
evaluation procedure if for example transitions from one pattern element to 
another are particularly pronounced and are thus clearly detected or if 
given regions of individual pattern elements have substantial changes in 

25 the physical parameter to be measured, in the line direction of the image 
pixels, and thus serve as a pattern recognition point which can be well 
located. 

In that' respect a particularly preferred embodiment of the present 
invention is one in which there are at least two types of pattern elements, 
30 in the region of which the physical parameter is respectively of a constant 
level or a constant value, wherein that value of the physical parameter in 
question respectively clearly measurably differs between the two types of 
pattern elements. In that way it is very easily possible to establish the 



transitions from a pattern element of the first type to a pattern element of 
the second type and vice-versa. The differences which are formed between 
adjacent pixels or pixel groups assume the value zero, in regard to pattern 
elements of that kind, if the pixels or pixel groups which are to be 
5 compared are within the same pattern element and assume the clearly 
measurable distinguishing value as between the two types of pattern 
elements when the one pixel or the one pixel group forms the image of one 
of the two pattern elements while the adjacent pixel or the adjacent pixel 
group does so for the respective other pattern element. In that way, 

10 respective clearly measurable changes occur at the transitions from one 
pattern element to another and in that respect also measurement points for 
identification of the pattern structure and the position of such transitions. 
That applies even if the surface properties of the article being investigated 
change considerably in the projected pattern region so that the same 

15 transitions between identical pattern elements but at different locations on 
the surface show clearly different differences and are nonetheless 
recognised as similar transitions because the difference in both cases 
always still clearly differs from other difference values which occur (for 
example the difference value zero). 

20 In addition a preferred embodiment of the present invention is one in 

which there is provided at least one type and at least one further type 
respectively of a pattern element, in the surface region of which the value 
of the physical parameter to be detected continuously changes in a 
predetermined direction. With a pattern element of that kind, the changes 

25 in the physical parameter between adjacent pixels or pixel groups are 
generally relatively small, while by virtue of the continuous change in the 
physical parameter in the region or in a sub-region of that pattern element 
those change' values are respectively equal between all adjacent pixels or 
pixel groups. It is only in the event of a transition to another pattern 

30 element or if a region of the pattern element is reached in which the 
physical parameter no longer changes continuously in accordance with the 
previously defined rule that a greater difference in respect of the physical 
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parameter can occur between adjacent pixels or pixel groups, which 
difference is in turn characteristic of a given region of the pattern. 

In that respect a particularly preferred embodiment of the present 
invention is one in which there are provided two types of such pattern 
5 elements with a continuous change in the physical parameter within at 
least a sub-region of those pattern elements, wherein those two types 
differ from each other in that, in the predetermined direction, with respect 
to the progressive comparisons of adjacent pixels or pixel groups, the sign 
of the change in the physical measurement parameter is precisely reversed. 

10 In the surface region in question of the pattern element of a first type 
therefore the value of the physical parameter which is of interest increases 
for example from one pixel to another by the same value in each case, 
while, in regard to the other type of pattern element, that value decreases 
from one pixel to another by a corresponding amount in each case. 

15 It will be appreciated that, in the transition to an adjacent pattern 

element, considerably greater differences can occur in the values of the 
physical parameter between adjacent pixels or pixel groups. 

The pattern elements with a change in the physical parameter, which 
is more or less continuous at least in a region-wise manner, make it 

20 possible, in regard to the transition to adjacent pixels or pixel groups, to 
obtain at the transition to a further pattern element a clear jump in the 
physical parameter in the same direction in each case, while in regard to 
the previously defined types of pattern elements within whose surface 
region the physical measurement parameter is of a constant respective 

25 value, the sign of the change in regard to the transition to the next pattern 
element, if there is any change at all, is clearly established by the value of 
the physical parameter in the preceding pattern element. 

In that respect, the change may admittedly assume two different 
values which respectively differ from each other by their sign, depending on 

30 from which of the two types of pattern elements the transition to the 
respective other type occurred, but after a previously implemented positive 
change in the value of the physical measurement parameter, in regard to 
pattern elements of that kind, at the transition to the next pattern element 



there can be only a negative or no change, and vice-versa. In contrast, 
with the types of pattern elements which have a change which is 
continuous in a region-wise manner but which is relatively small between 
respectively adjacent pixels within those ranges and which therefore can be 
5 ignored, the value of the physical parameter is continuously repeatedly 
restored to a value which has already been achieved previously and which 
then, at the transition to the next pattern element or also within the given 
pattern element, is abruptly changed, in which respect that abrupt change 
is detected as a characteristic structure element of the pattern and involves 
10 a given direction or a given sign, wherein changes involving the same sign 
or for example opposite signs can then readily follow, depending on which 
respective type of pattern element is the next following and the next but 
one. 

It will be appreciated that, in regard to various types of pattern 

15 elements of that kind, it is desirable if those types are arranged in an 
encoded distribution on the surface of the projected pattern, in which 
respect the notion of encoded distribution has already been discussed 
above. A preferred example of encoded distribution is simply random 
distribution of the various types of pattern elements on the entire 

20 projection surface. It is particularly preferred in that respect if all the 
above-defined types of pattern elements, that is to say both those within 
whose surface region the physical parameter is of a respective constant 
level and also those which involve a surface region within which the 
physical parameter respectively continuously changes, are used for the 

25 production of such a pattern. 

Desirably the surface region of a pattern element in the imaging 
plane should correspond at a maximum to a number of m x n pixels, 
wherein m arid n are each greater than 2, but at the same time m is 
markedly smaller than M and n is markedly smaller than N, when M x N is 

30 the total number of the detected or imaged image pixels. 

In that respect it is further desirable if, for pattern encoding and 
identification of pattern elements or characteristic regions of the pattern, 
the procedure only involves evaluating changes which are greater than the 



changes between adjacent pixel groups within those types of pattern 
elements which at least in part have a continuous change in the physical 
parameter. It has already been mentioned hereinbefore that the small 
changes in the physical parameter, which occur along that region between 
5 adjacent pixels or pixel groups, in comparison with the relatively great 
changes which can occur between adjacent pattern elements, can be 
ignored. 

Furthermore a preferred embodiment of the invention is one in which 
two measurement procedures are implemented with triangulation planes 

10 which are angled relative to each other, wherein in the two measurement 
procedures the triangulation planes are preferably angled relative to each 
other through about 90°. 

Evaluation of the image data is substantially facilitated if, upon 
projection of the pattern on to a reference plane, imaging of the lines of the 

15 pattern on the image converter is effected substantially parallel to the lines 
of the image converter. The term reference plane is used herein to denote 
that plane which is formed in the following manner: (i) an auxiliary straight 
line is defined, which extends parallel to the optical axis of the projection 
unit and which intersects the optical axis of the receiving or recording unit, 

20 wherein the plane defined by that straight line and the optical axis of the 
recording unit, in accordance with the invention, is identified as the 
'triangulation plane'; (ii) the bisector of the optical axis of the recording 
unit and the auxiliary straight line is established as a normal vector of the 
reference plane (the reference plane is thus perpendicular to the 

25 triangulation plane); (iii) the reference plane is so disposed that the 
spacing between the points at which the two optical axes pass through the 
reference plane is at a minimum. That definition takes account of the fact 
that the two optical axes, in a real apparatus, will not exactly intersect, 
even if that is structurally intended. If now the lines of the pattern extend 

30 parallel to the triangulation plane, the image of those lines on the image 
converter will extend parallel to the lines of the image converter. Upon 
projection of that pattern on to a surface which does not correspond to the 
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reference plane, the deviation from parallelism will only be small of second 
order. 

It is also advantageous if the pattern is such and projection of that 
pattern is effected in such a way that, upon projection of the pattern on to 
5 a flat surface which is perpendicular to the triangulation plane, with a 
unitary surface configuration, the result is a structure which is organised in 
lines, those lines are parallel to the triangulation plane and the 
characteristic above-specified measurements of the change occur along 
those lines. 

10 It is further desirable if (i) the pattern is projected using a beam 

source and suitable optical means on to the object to be measured; (ii) the 
pattern to be projected is of a flat or areal configuration, with substantially 
mutually perpendicular lines and columns involving a respectively uniform 
pitch division and arranged in the resulting pitch division are different 
15 geometrical elements which are optically transparent, non-transparent or 
partially transparent; (iii) the transparency of the partially transparent 
elements both increases in the line direction steadily from non-transparent 
to transparent or steadily decreases from transparent to non-transparent; 
(iv) the geometrical elements are arranged in the pattern to be projected, 
20 in such a way that in the pitch division of the columns, as between the 
geometrical elements, there is a change from transparent to non- 
transparent or from non-transparent to transparent, in such a way that the 
different sign, which is distributed over the pattern, of the size of the 
change in the pitch division grid or raster of the columns, on the basis of 
25 image recording of the projected pattern of interrelated surface segments 
of the object, which are delimited in any desired fashion, of sufficient size, 
makes it possible to determine a clear association with the respective 
projected part of the pattern; (v) the radiation reflected by the object, at 
least in parts, is projected by suitable optical means on to a flat CCD image 
30 converter whose radiation-sensitive elements are also organised in lines 
and columns, and is converted thereby into an electrical signal and 
contained in that electrical signal is the information content of the 
components, reflected by the object, of the projected pattern, at least in 



parts thereof; (vi) the directions of the optical axes for projection of the 
pattern and for formation of the image of the object on the image converter 
are different from each other; (vii) the lines of the pattern to be projected 
are oriented parallel to the plane which is formed by the optical axes for 
5 projection and for imaging of the reflected radiation on to the image 
converter; (viii) the electrical signals of the image converter are converted 
into discrete data and passed to a unit for processing and storage of data; 
(ix) the data of the radiation-sensitive elements of the image converter are 
evaluated in lines which are parallel to the triangulation plane, in regard to 

10 the size of the change in the intensity of radiation; (x) the resulting flanks 
upon substantially sharp changes, in accordance with the respective sign of 
the size of the change, are associated with the binary information elements 
zero and one; and (xi) the resulting binary sequences serve to distinguish 
parts of the pattern from other parts of the pattern. 

15 If for example a pattern (i) comprises checkered black and white 

elements, (ii) the pattern is projected using visible light and suitable optical 
means on to a white object of any three-dimensional extent, (iii) an image 
Is produced from the object using suitable optical means on a flat image 
converter, (iv) the projection direction is different from the receiving or 

20 recording direction, (v) the signal of the image converter is digitised, put 
into intermediate store in an electronic memory or storage device and fed 
to a data processing unit, (vi) the image converter is organised in mutually 
perpendicular lines and columns, (vii) the pattern is positioned in the 
projection device in such a way that the lines of the checkered pattern 

25 extend in the direction of the lines of the image converter, (viii) both the 
projection device and also the receiving or recording device are of such a 
configuration and position that the triangulation angle extends to a 
recording of the image of the checkered pattern in the column direction of 
the image converter (in other words: the plane defined by the triangulation 

30 angle extends in the direction of the columns of the projected pattern and 
also the image converter), (ix) the configuration of the pattern elements is 
greater than the resolution of the image converter, then values can be 
found in the image store, which represent the line information of the image 
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converter and which correspond to the brightness values of the white and 
black elements of the checkered pattern. If (x) those items of information 
are evaluated along the corresponding line of the image converter, the 
result is sudden changes in the items of brightness information 
5 corresponding to the grid or raster of the projected pattern. The deviations 
in the dimensional relationships of the sudden changes in brightness along 
an image line with respect to the corresponding projected pattern represent 
the spatial extent of the object, with the beam path being known. If (xi) the 
object in the region being viewed is sufficiently steady and is optically 

10 accessible both from the projection direction and also from the receiving or 
recording direction, then the sequence of line information alternately 
involves sudden changes in brightness from light to dark and from dark to 
light. If (xii) the items of brightness information are represented by the 
digitisation procedure as digital values with an association proportional to 

15 the brightness values and if (xiii) the change in brightness along the 
designated column of the image converter is calculated from the difference 
between the respective brightness value at a given location and the 
brightness information of the image location which follows in the direction 
of the line, that alternately gives positive and negative values which 

20 correspond to the size of the change in brightness. If that discrete 
sequence of values is interpreted as a brightness signal, it is then possible 
to refer to positive or negative flanks or edges of that signal. 

In the preferred embodiment of the invention the image data which 
represent the projected pattern with the stated statistical distribution of the 

25 pattern elements and thus the corresponding encoding are checked in 
respect of the individual pattern elements to ascertain whether the 
information content of the individual element can be unambiguously 
recognised bri the basis of the recording. If that unambiguity is not 
guaranteed then the corresponding pattern element is to be excluded from 

30 further data processing. The pattern elements which are to be 
unambiguously recognised, by signal edge recognition and evaluation, form 
the basis thereafter for generation of the information elements, and 
adjacent unambiguously recognised information elements are attributed to 



so-called clusters. A cluster in the sense of the present invention is a group 
of adjacent information elements. The comparison of the decoded items of 
information of the recorded pattern which is projected on to the object, 
with the pattern content to be projected, makes it possible to check the 
5 plausibility of the arrangement of the decoded items of information. If 
deviations occur in that situation, the deviating information element is 
falsified and separated out. If the corresponding information element is at 
the edge of the cluster, a suitably corrected delimitation is produced. If the 
information element is in the middle of a cluster, then under some 

10 circumstances the cluster is to be divided and the unambiguous association 
of the two resulting cluster portions is to be re-checked. If the smaller 
clusters cannot be unambiguously associated, then all corresponding 
elements are to be falsified and separated out. Accordingly, represented in 
the clusters are interrelated surface segments whose pattern elements of 

15 the projected pattern, by virtue of the information content available in the 
cluster in respect of the mutually adjoining pattern elements, can be 
unambiguously associated with the corresponding pattern element in the 
pattern to be projected. On the basis of the position for example of the 
center of gravity or the resulting edges or flanks in the image, in 

20 comparison with the arrangement in the pattern to be projected, it is 
possible by means of triangulation to calculate three-dimensional co- 
ordinates as support points of the surface of the object. In accordance with 
the invention three respective adjacent support points which are not 
disposed in a row can advantageously be defined as a triangle and thus 

25 also as a triangular surface so that there is no need for surface retrieval 
from a cloud of points, as is required in the case of other processes. As a 
result of that analysis and calculation of the items of image information 
from an individual image digital images of interrelated surface segments of 
the object, which are unambiguously determined in respect of their 

30 configuration, are available. These segments which are possibly not 
interrelated are however known in terms of their three-dimensional position 
and orientation relative to each other. 
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Further advantages, features and possible uses of the present 
invention will be apparent from the following description of a preferred 
embodiment and the accompanying drawings in which: 

Figure 1 shows a section from an encoded pattern and in the lower 
5 part aspects of an evaluation strategy, 

Figure 2 shows two images of a curved surface with a pattern 
projected thereon, and 

Figure 3 shows images of a human head with and without a pattern 
projected thereon, from different viewing directions. 
10 Figure 1 shows in the upper region thereof a section from an 

encoded pattern, more specifically in a plane perpendicular to the axis of 
projection, and in the lower region the structures which are afforded by the 
evaluation process in accordance with the present invention. 

The pattern illustrated in Figure 1 shows a square field or array of 8 
15 x 8 pattern elements with a total of four different pattern element types. At 
the same time, laid over the imaged pattern there is also a grid network of 
image pixels, on to which a corresponding pattern can be projected for 
imaging purposes. As will be seen, each pattern element occupies a surface 
region of 8 x 5 image pixels. The four different pattern element types are 
20 all recognisable within the top left region of 3 x 2 pattern elements. In this 
case, by way of example, the degree of blackening of a pixels or the degree 
of blackening of a group each comprising five mutually superposed pixels 
can be used as a physically measurable parameter for identification of the 
pattern structures. It will be appreciated that conversely it would also be 
25 possible to use a negative of that pattern, in which black surfaces would be 
substituted for white surfaces. 

In the case of the pattern element at topmost right in Figure 1, the 
left-hand edge has the maximum degree of blackening of that pattern 
which occurs, while then the degree of blackening continuously decreases 
30 from left to right and could be specifically detected as the sum of the 
degrees of blackening of all five pixels elements in a column one above the 
other, which fall into the surface region of that pattern element. The eighth 
group of five pixels of that pattern element, which are arranged in mutually 



superposed relationship in a column, no longer has any degree of 
blackening and is completely white. Beside it to the right there follows a 
further pattern element 3 which has the maximum degree of blackening 
over its entire surface. That pattern element 3 is here specifically identified 
5 by reference numeral 1. 

The next following pattern element 2 is substantially similar to the 
pattern element 1, with the single difference that the degree of blackening 
of the eight pixel groups of that pattern element, which are arranged in 
column-wise manner, continuously increases from left to right, while it 

10 continuously decreased in the case of the pattern element 1. 

Under the pattern element 1 it is possible to see a pattern element 4 
which differs from the pattern element 2 in that it has no degree of 
blackening at all over its entire surface area. In particular the transitions 
between adjacent pattern elements which can form a transition from white 

15 to black or from black to white are characteristic in respect of this pattern, 
in which respect the pattern elements 1 and 3 also make it possible for 
identical transitions from black to white or from white to black respectively 
to be repeated a plurality of times, at successive pattern elements. 

This will now be described in greater detail with reference to the 

20 lower region in Figure 1. Attention is directed for example in the upper part 
of Figure 1 to the row of pixels identified by reference numeral 8 in the 
seventh row (counted from the top) of pattern elements of the pattern. 
When progressing along that line of pixels 8 from left to right and recording 
in a vertical direction the respective degree of blackening of the detected 

25 pixels, then the variation in the degree of blackening shown in line 10 of 
the lower part of the Figure is the result. Firstly, in line 8 of pixels the 
degree of blackening is at a maximum value, then at the transition from 
the third ttrthe fourth pixel of that row it abruptly changes to a minimum 
value which corresponds to a white pixel. The next five pixels remain white 

30 and therefore exhibit the minimum degree of blackening, while at the 
transition to the next pattern element in that line there is once again a 
sudden change to the maximum degree of blackening. As that pattern 
element is identical to the preceding one, the curve configuration is 



repeated. At the transition to the next pattern element there is once again 
a sudden change to the maximum degree of blackening which then 
however also remains constant until the transition to the fourth pattern 
element which is completely white occurs. Within the surface region thereof 
5 the pixel line 8 which exhibits the degree of blackening remains at the 
minimum value, as shown in line 10. The continuation of the curve 
configuration is similar to the foregoing description. 

The curve configuration in accordance with line 10 would moreover 
also occur if five pixels of a column from that row of pattern elements were 

10 combined together in each case and if only one threshold value were 
established for the degree of blackening, above which the curve jumps to 
its maximum value and below which it assumes the minimum value. 

The subjacent curve 11 is obtained in a rather different manner. This 
respectively reproduces the degrees of blackening of five mutually 

15 superposed pixels in the group of pixel rows which are identified in the 
upper part of the Figure by reference 9 and which define a row of pattern 
elements. Entirely to the left is a white pattern element 4 so that a 
minimum degree of blackening is correspondingly indicated in line 11 in the 
region of that pattern element. Then there is a jump to a completely black 

20 pattern element so that then the maximum degree of blackening is 
reproduced throughout in the region of the second pattern element. There 
is then once again a sudden change downwardly into a white pixel column 
without any degree of blackening, but then the degree of blackening 
continuously increases from one pixel column to another until the 

25 maximum degree of blackening is reached again at the end of the third 
pattern element. That is repeated in the fourth pattern element while the 
fifth pattern element again corresponds to the first. The sixth pattern 
element differs from the third and fourth pattern elements only by the sign 
of the change in the degree of blackening, that is to say in the case of the 

30 sixth element the degree of blackening continuously decreases from a 
maximum initial value from left to right to the minimum value. The seventh 
pattern element of that row of pattern elements is identical to the second 



16 



one and the eighth pattern element again corresponds to the third and 
fourth pattern elements of that row. 

Line 12 which is shown therebeneath sets out an evaluation of that 
structure which could clearly also be described as a derivative of the curve 
5 shown in Figure 11. More specifically line 12 shows the respective 
differences in the degrees of blackening of two successive pixel columns 
each comprising five mutually superposed pixels in the row 9 of pattern 
elements. Those changes are at a maximum at the respective transition 
from one pattern element to the next pattern element, when that is a 

10 transition from a purely black pixel column to a purely white pixel column, 
or vice-versa. Those changes are of the value zero within the purely white 
or purely black pattern elements or at a transition (which does not occur 
here) from a purely white or purely black to a similar pattern element (that 
is to say from pattern element 3 to 3 or from 4 to 4) and those changes are 

15 of a comparatively small value in the region in which the degree of 
blackening of the pattern elements changes continuously from left to right. 

As can be seen from curve 12, in the transition from white to black 
there is an upward deflection of the curve while at the transition from black 
to white there is a downward deflection of the curve. The pattern elements 

20 with a continuous change in the degree of blackening, here more 
specifically in the form of triangles, make it possible for a plurality of 
positive or negative peaks to occur in succession, as can be seen from 
Figure 12, which facilitates the production of an encoded pattern. 

In line 13 the positive and negative peaks at the region of the 

25 pattern element transitions are only replaced by upwardly or downwardly 
pointing arrows, while line 14 is a binary representation of those arrow 
directions or peak directions in the form of the digits 1 and 0, wherein 
positive peaks or upwardly directed arrows are represented by a digit 1 
while negative peaks or downwardly directed arrows are represented by a 

30 digit 0. In that way the detected structure can be easily processed in the 
form of digital numbers, more specifically in binary numbers. 

Figure 3 shows a surface which is curved in space and on which a 
pattern is projected, wherein the viewing direction is the direction 



perpendicularly to the plane of the paper while the direction of projection 
on to the pattern is inclined with respect to the viewing direction by the 
triangulation angle. On the assumption that all perceptible pattern elements 
in principle occupy the same surface region, it will be noted from the 
distorted larger shape of those pattern elements that for example regions 
in which the pattern elements appear to be elongated in a horizontal 
direction correspond to surface regions which are heavily inclined relative 
to the projection direction but which are less inclined in the viewing 
direction, while, where the pattern elements are apparently relatively close 
together or appear shortened in the horizontal direction, the situation is 
precisely the reverse. With the relative angle between the viewing direction 
and the projection direction being known, it is possible to ascertain the 
exact position of each surface region in space. At the same time however 
Figure 2 also clearly demonstrates a particular problem which would 
confront conventional pattern recognition processes under the illustrated 
imaging conditions, but which is readily overcome by the process of the 
present invention. More specifically, in the case of the surface whose image 
is formed, the incidence of light is obviously precisely such that reflections 
obviously occur in the right-hand edge region of the recognisable pattern, 
so that in that region the pattern appears substantially lighter than in the 
remaining region. The lower part of Figure 2 shows a negative 
representation of the upper pattern so that in this case the right-hand 
region of the pattern appears substantially darker. That makes recognition 
of the pattern with conventional pattern recognition processes quite 
considerably more difficult or even makes it impossible. In accordance with 
the present invention however only the light-dark boundaries between 
adjacent pattern elements are detected as unambiguously located points, 
and those light-dark transitions are also still disposed in the region which is 
disturbed by a reflection and are always still" clearly discernible there as 
such so that for example they could be unambiguously identified by the 
digits 0 and 1 in accordance with the evaluation procedure described 
hereinbefore in relation to Figure 1. 
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Figure 3 shows a specific example of use in the form of detecting the 
spatial structures of a human face. While the left-hand part of Figure 3 
shows in the form of a photograph the model of a human face on the one 
hand at about 30° with respect to the plane of symmetry on the face and 
on the other hand at about 75° relative to the plane of symmetry of the 
face, the same views are shown at the right with a pattern projected on to 
the face. In this case the projection direction is in the plane of symmetry of 
the face and substantially horizontal. With knowledge of the triangulation 
angle, that is to say the angle between the plane of symmetry of the face 
and the viewing direction, that is to say the normal to the plane of the 
drawing, and in addition with knowledge of the real pattern structure which 
would occur upon projection on to a surface perpendicular to the projection 
direction, it is possible on the basis of the spacings of the individual light- 
dark transitions in the imaged projection pattern, by means of suitable 
evaluation algorithms, to detect and digitally store the spatial structure of 
the surface of the face. That in turn can be used for the purposes of people 
recognition and/or for purposes in medicine, as for example in the case of 
computer-aided, minimal-invasive surgery. 
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CLAIMS 



1. A process for detecting the spatial structure of a three- 
dimensional surface by projection of a pattern on to the surface along a 
projection direction which defines a first axis, and by pixel-wise detection of 
at least one region of the pattern projected on to the surface, by means of 
one or more sensors in a viewing direction of the sensor or sensors, which 
defines a second axis, wherein the first and the second axes (or a straight 
line parallel to the second axis) intersect at an angle different from 0° so 
that the first and the second axes (or the straight line parallel thereto) 
define a triangulation plane, wherein the pattern is defined at least upon 
projection into a plane perpendicularly to the first axis by a varying physical 
parameter which can be detected by the sensor (sensors), and wherein the 
pattern is such that the difference in the physically measurable parameter, 
measured between predeterminable image pixels or pixel groups, along a 
predeterminable pixel row which is preferably parallel to the triangulation 
plane, assumes at least two different values characterised in that, for the 
purposes of evaluation of the imaged pattern structure only changes in the 
physical parameter between the predetermined pixels or predetermined 
pixel groups of one or more pixel rows which are preferably parallel to the 
triangulation plane are detected and converted into spatial co-ordinates of 
the surface. 

2. A process as set forth in claim 1 characterised in that the 
difference in the physically measurable parameter between respective 
adjacent pixels or pixel groups is ascertained along a predetermined 
direction. 

3. A process as set forth in claim 1 or claim 2 characterised in that 
the pattern is oriented in such a way that the changes in the physically 
measurable parameter, which occur along a direction, assume in respect of 
amount at least in part the difference which occurs as a maximum between 
any equal-sized pixels or pixel groups in the imaged pattern, wherein the 
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other changes which occur assume along that direction comparatively low 
values. 

4. A process as set forth in one of claims 1 through 3 characterised 
in that pixels, which are disposed in mutually superposed relationship in a 
column, of a plurality of parallel pixel rows are assembled to form a pixel 
group, and the changes in the physical parameter are evaluated between 
respective ones of such adjacent pixel groups. 

5. A process as set forth in claims 1 through 4 characterised in that 
the pattern is an encoded pattern in which various pattern regions of an 
adequate size are distinguishable from each other and are fixed in respect 
of their position within the overall pattern. 

6. A process as set forth in one of claims 1 through 5 characterised 
in that the pattern is formed from pattern elements which each occupy 
approximately equal-size surface areas in a plane perpendicular to the 
projection direction. 

7. A process as set forth in claim 6 characterised in that there are 
provided at least two types of pattern elements, in the surface region of 
which the measurable physical parameter is respectively of an almost 
constant value, wherein the value of said physical parameter clearly 
measurably differs between the two types of pattern elements. 

8. A process as set forth in claim 6 or claim 7 characterised in that 
there is provided at least one type of a pattern element in which the value 
of the physical parameter substantially continuously changes at least within 
a part of its surface region along a predetermined direction. 

9. A process as set forth in claim 8 characterised in that there are 
provided at least two types of pattern elements which differ by the sign of 



the change in the physical parameter within the surface region thereof and 
along the predetermined direction. 

10. A process as set forth in one of claims 5 through 9 characterised 
in that the various types of pattern elements are arranged in an encoded 
distribution on the surface of the projected pattern. 

11. A process as set forth in one of claims 5 through 10 
characterised in that the various types of pattern elements are distributed 
in a random arrangement over the projection surface. 

12. A process as set forth in one of claims 6 through 11 
characterised in that the surface region of a pattern element in the imaging 
plane corresponds to an area of m x n pixels with m, n ;> 2 and m « M and 
n « N, wherein M x N is the total number of detected image pixels. 

13. A process as set forth in one of claims 5 through 12 
characterised in that for pattern encoding and identification of the position 
of pattern elements, only changes are evaluated which are greater than the 
changes between adjacent pixels or pixel groups within the pattern 
elements defined in claims 6 and 7. 

14. A process as set forth in one of claims 1 through 13 
characterised in that for detecting the spatial structure of the three- 
dimensional surface at least two measurements with triangulation planes 
which are angled relative to each other are implemented and combined 
together. 
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Abstract 



Process for detecting the spatial structure of a 
three-dimensional surface 

The present invention concerns a process for detecting the spatial 
structure of a three-dimensional surface by projection of a pattern on to the 
surface along a projection direction which defines a first axis, and by pixel- 
wise detection of at least one region of the pattern projected on to the 
surface, by means of one or more sensors in a viewing direction of the 
sensor or sensors, which defines a second axis, wherein the first and the 
second axes (or a straight line parallel to the second axis) intersect at an 
angle different from 0° so that the first and the second axes (or the straight 
line parallel thereto) define a triangulation plane, wherein the pattern is 
defined at least upon projection into a plane perpendicularly to the first axis 
by a varying physical parameter which can be detected by the sensor 
(sensors), and wherein the pattern is such that the difference in the 
physically measurable parameter, measured between predeterminable 
. image pixels or pixel groups, along a predeterminable pixel row which is 
preferably parallel to the triangulation plane, assumes at least two different 
values. In order to provide a process for detecting the spatial structure of a 
three-dimensional surface, which is substantially independent of different 
inclinations with respect to a normal to the triangulation plane and also 
independent of the other surface properties which independently of the 
spatial extent of the surface can influence the physical parameter to be 
measured, in accordance with the invention it is proposed that, for the 
purposes of evaluation of the imaged pattern structure only changes in the 
physical parameter between the predetermined pixels or predetermined 
pixel groups of one or more pixel rows which are preferably parallel to the 
triangulation plane are detected and converted into spatial co-ordinates of 
the surface. 

Figure 1 
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I. Grundlage des Berichts 
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-j-14 ursprungliche Fassung 

Zeichnungen, Blatter: 

1/3-3/3 ursprungliche Fassung 



2. Aufgrund der Anderungen sind folgende Unterlagen fortgefallen: 

□ Beschreibung, Seiten: 

□ Anspruche, Nr.: 

□ Zeichnungen, Blatt: 

3 □ Dieser Bericht ist ohne Berucksichtigung (von einigen) der Anderungen erstellt worden, da diese aus den 
angegebenen Grunden nach Auffassung der Behorde uber den Offenbarungsgehalt in der ursprunglich 
eingereichten Fassung hinausgehen (Regel 70.2(c)): 



4. Etwaige zusatzliche Bemerkungen: 



V. Begrundete Feststellung nach Artikel 35(2) hinsichtlich der Neuheit, der erfinderischen Tatigkeit und der 
gewerblichen Anwendbarkeit; Unterlagen und Erklarungen zur Stutzung dieser Feststellung 

1. Feststellung 

Neuheit (N) Ja: Anspruche 1-14 

Nein: Anspruche 

Erfinderische Tatigkeit (ET) Ja: Anspruche 1 -1 4 

Nein: Anspruche 

Gewerbliche Anwendbarkeit (G A) Ja: Anspruche 1-14 

Nein: Anspruche 
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2. Unterlagen und Erklarungen 
siehe Beiblatt 

VII. Bestimrnte Mangel der internationalen Anmeldung 

Es wurde festgestellt, daB die internationale Anmeldung nach Form oder Inhalt folgende Mangel aufweist: 
siehe Beiblatt 

VIII. Bestimrnte Bemerkungen zur internationalen Anmeldung 

Zur Klarheit der Patentanspruche, der Beschreibung und der Zeichnungen oder zu der Frage, ob die Anspruche 
in voilem Umfang durch die Beschreibung gestutzt werden, ist folgendes zu bemerken: 

siehe Beiblatt 
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Zu Punkt V 

Begrundete Feststellung nach Artikel 35(2) hinsichtlich der Neuheit, der erfinderi- 
schen Tatigkeit und der gewerblichen Anwendbarkeit; Unterlagen und Erklarungen 
zur Stutzung dieser Feststellung: 

1. Technisches Gebiet: 

Die Erfindung betrifft ein Verfahren zur Erfassung der raumlichen Struktur einer 
dreidimensionalen Oberflache durch Projizieren eines Musters auf die Oberflache. 

2. Unabhangige Anspruche: Anspruch 1 (Verfahren). 

3. Stand der Technik: 

Es wird auf die folgenden Dokumente verwiesen: 

D1: DE-A-196 38 727 (DIPL ING RUEDGER RUBBERT) 19. Marz 1998 
D2: YEE S R ET AL: THREE-DIMENSIONAL IMAGING SYSTEM' OPTICAL ENGI- 
NEERING, Bd. 33, Nr. 6, Juni 1994, Seiten 2070-2075, XP000454696 ISSN: 
0091-3286 

D3: DE-A-44 36 500 (CARL ZEISS JENA GMBH) 11. Mai 1995 

D4: US-A-4 867 570 (SORIMACHI KANEHIRO ET AL) 19. September 1989 

D5: US-A-4 825 263 (DESJARDINS PAUL J ET AL) 25. April 1989 

D6: EP-A-0 294 577 (LBP PARTNERSHIP) 14. Dezember 1988 

Die Dokumente D1 bis D6 beschreiben Vorrichtungen bzw. Verfahren zur Erfassung 
der raumlichen Struktur einer dreidimensionalen Oberflache. Dazu wird ein bestimm- 
tes Muster auf die Oberflache entlang einer Projektionsachse projiziert. Das Muster 
wird anschlieftend mit Hilfe von Bildsensoren, die entlang einer zweiten Achse aus- 
gerichtet sind, pixelweise erfasst. Die beiden Achsen spannen dabei eine Triangula- 
tionsebene auf. Die Dokumente D1, D2 und D3 offenbaren weiter die Verwendung 
kodierten Musterbereiche, d.h. die abgebildeten Musterstrukturen haben unterschied- 
liche Formen. Dadurch andert sich die erfassbare physikalische GroRe (Helligkeit) 
zwischen verschiedenen Pixelgruppen. 



Formblait PCT/Bsiblatt/409 (Blatt 1) (EPA- April 1997) 



INTERN ATIONALER VORLAUFIGER Internationales Aktenzeichen PCT/DE99/01 277 
PRUFUNGSBERICHT - BEIBLATT 



4. Neuheit - Artikel 33(2) PCT 

4.1 Unabhangige Anspruche 1 und 10: 

Der Gegenstand des unabhangigen Anspruchs 1 unterscheidet sich von dem nach 
Dokument D1, welches als nachstliegender Stand der Technik angesehen wird, 
dadurch, dass zur Auswertung der abgebildeten Musterstruktur jeweils nur Anderun- 
gen der physikalischen Gr63e (Helligkeit) erfasst und in raumliche Koordinaten 
umgerechnet werden. Somit ist der Gegenstand des Anspruchs 1 neu gegenuber 
Dokument D1. Alle anderen Dokumente sind weniger relevant. 

5. Erfinderische Tatigkeit - Artikel 33(3) PCT 

5.1 Unabhangiger Anspruch 1: 

Dadurch, dass nur die Anderungen erfasst werden, wird die objektive technische 
Aufgabe gelost, eine Vermessung einer dreidimensionalen Oberflache zu ermogli- 
chen, welche von verschiedenen Neigungen bezuglich einer Normalen zur Triangula- 
tionsebene und auch von sonstigen Oberflacheneigenschaften unabhangig ist. Diese 
Oberflacheneigenschaften werden eliminiert, da die Oberflachenbereiche, die vor 
allem durch benachbarte Pixel abgebildet werden, die gleichen Eigenschaften haben. 
Da nicht das Muster hinsichtlich seiner speziellen Ma6e und Formen erfasst und mit 
dem ursprunglichen Projektionsmuster verglichen wird, sondern lediglich die in 
benachbarten Pixelgruppen gemessenen Werte der physikalischen GroBe mitein- 
ander verglichen werden, wirkt sich die Neigung der Oberflache gegenuber der 
Triangulationsebene nicht aus. Solch ein Verfahren ist aus dem zitierten Stand der 
Technik weder bekannt noch nahegelegt. Die Anforderungen an Artikel 33(3) PCT 
sind somit erftillt. 

5.2 Abhangige Anspruche 2 bis 14: 

Die abhangigen Anspruche 2 bis 14 betreffen zusatzliche Merkmale des unabhangi- 
gen Anspruchs 1, auf den sie sich beziehen, und werden aus diesem Grund fur neu 
und erfinderisch angesehen. 
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6. Industrielle Anwendbarkeit - Artikel 33(4) PCT 

Die in den Anspruchen 1 bis 14 beanspruchte Erfindung ist industriell anwendbar auf 
dem Gebiet der Erfassung der raumlichen Struktur einer dreidimensionalen Ober- 
fiache durch Projizieren eines Musters auf die Oberflache. 



Zu Punkt VII: 

Bestimmte Mangel der internationalen Anmeldung 

Urn die Erfordernisse der Regel 5.1(a)(ii) PCT zu erfullen, waren in der Beschreibung die 
Dokumente D1, D2 und D3 zu nennen gewesen; der darin enthaltene einschlagige Stand 
der Technik hatte kurz umrissen werden sollen. 

Die Merkmale der Anspruche sind nicht mit in Klammern gesetzten Bezugszeichen verse- 
hen worden (Regel 6.2 b) PCT). 



Zu Punkt VIM 

Bestimmte Bemerkungen zur internationalen Anmeldung 

1 . Klarheit - Artikel 6 PCT 

Die Anmeldung erfullt nicht die Erfordernisse des Artikels 6 PCT, weil die Anspruche 
1 und 13 nicht klar sind: 



1-1 Unabhangiger Anspruch 1: 

Die in Klammern gesetzten Ausdrucke "(odereine zur zweiten Achse parallele Gera- 
de)\ "(bzw. die hierzu parallele Gerade)" und "(Sensoren)" sind nicht klar. Es wird 
nicht deutlich, ob die in Klammern gesetzten Merkmale den Umfang der Anspruche 
einschranken sollen oder nicht. 



1 .2 Abhangiger Anspruch 13: 

Der Anspruch 13 ist uber Musterelemente aus den Anspruchen 6 und 7 definiert. 
Wird der Anspruch 13 auf die Anspruche 5 und 6 ruckbezogen, ergibt sich eine 
Unklarheit, da der Gegenstand des Anspruchs 6 bzw. 7 dann noch nicht bekannt ist. 
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